大规模张量分析中的非参贝叶斯学习技术研究

Multidimensional arrays or tensor data are widely observed in many real-world systems. For example, the relationship <user-image-tag-location> in online social networks, and the relationship <user-goods-transaction-time> in e-commerce systems are all examples of tensors. As a principle way of processing tensor data, tensor decomposition has been effectively adopted in many systems. However, most current tensor decomposition methods are multi-linear methods, which may be insufficient to deal with the complex relationship between tensor elements and hard to process the missing values and various data types of tensor elements. To overcome the difficulties of previous research, the PI will work upon previous research results on tensor analysis to propose more generalized Bayesian tensor models, based on random graph theory, matrix/tensor-variate distributions, and nonparametric Bayesian learning. The PI will further extend the tensor models to dynamical tensor analysis. Then the PI will exploit online learning and distributed computing strategies to develop toolkits for large-scale tensor analysis. Finally, as the evaluation system, the team will evaluate our developed algorithms on open and large scale datasets, and develop recommendations systems based on tensor analysis.

张量（矩阵向三维或更高维的扩展）广泛存在于许多现实系统中，例如社会网络中的<用户-图片-图片标记-地理位置>和电子商务中的<用户-商品-交易-时间>。比起向量或矩阵表示，张量可以有效包含不同模之间的关联关系并有助于大大提高预测精度。张量分解是处理张量数据的主要手段，但是大多张量分解算法是线性的，不足以描述张量元素间的复杂关系，而且难以处理缺失值和数值类型问题，或者很难应用于大规模数据中。为了解决上述问题，本研究将在前期工作基础上，通过探讨随机图理论和矩阵/张量分布理论，结合非参贝叶斯学习理论，提出更具有泛化能力的贝叶斯张量分解模型。然后将进一步拓展动态张量模型以描述张量数据的动态变化，并探讨在线学习和分布式学习策略来开发能够适应于大规模数据的张量分解算法工具包。最后，作为本研究的最终评价系统，申请人将在公开和实际的大规模张量数据集中对算法进行测试，并设计基于大规模张量分析的推荐系统。

经过4年的研究，项目组在张量分析算法、多视图学习、大数据机器学习、深度学习及其在推荐系统、自然语言理解应用方面取得了重要成果，出色完成了项目书提出的各项目标。首先，对张量学习框架方面，课题组对矩阵（即二阶张量）分解、张量分解进行了深入细致的研究，沿着线性张量分解算法、贝叶斯非线性算法、神经张量分解非线性算法的研究路径，提出了一系列具有更强泛化能力的算法。其次在构造适合于动态系统的张量分析模型方面，课题组将张量分解算法与循环神经网络相结合，提出了张量循环神经网络模型，可以对动态数据进行分析；还将神经张量分析与注意力模型相结合，提出了能够处理多模态数据问答的网络模型。然后在大规模张量学习算法方面，课题组提出了基于切块的并行张量分解算法，并将其用于推荐系统，开源了第一个基于tensorflow的张量分解工具包。在论文发表方面，课题组在机器学习、人工智能领域的顶级期刊和国际会议上实际发表论文50多篇，超过原计划的10-15篇; 实际申报专利6项(含授权2项，超过原计划（2-3项）。