两类带先验信息的张量分解问题的研究

The concept of tensors is the higher order generalization of vectors and tensors. Due to its special structure, the study of tensors becomes more and more important in the big data era. Tensor decomposition, which plays a key role during the exploration of tensors, has been applied to a variety of subjects. For general tensors, research has been carried out on theory and algorithms; however, for certain classes of tensors that have special structure or involve extra information, the results are somewhat limited. This project is focused on two classes of tensor decomposition problems with prior information: sparse tensor decomposition and robust tensor decomposition. For the sparse one, we will study the Lq (0 ≤ q < 1) regularized model and study the uniqueness of the decompositions under certain conditions; for the robust one, we will introduce robust loss functions according to the distribution of the non-Gaussian noise, and investigate the approximation ability. From the aspects of statistics and optimization, we will study the sparsity and robustness of the proposed models, and design highly efficient algorithms which are applicable to large-scale problems and whose convergence and convergence rate can be rigorously proved. We believe that the study of this project is a complement to the existing research on tensor decomposition, and can find applications in a variety of areas including machine learning and signal processing.

张量是向量和矩阵的高阶推广，张量分解是研究张量的重要工具。一般的张量分解的理论及算法已有较深入的研究，但对于某些具有特殊结构或者具有先验信息的张量，具有针对性的研究还不是很充足。本项目将从模型，理论，算法等方面研究两类带先验信息的张量分解问题：稀疏张量分解和稳健张量分解。对于稀疏分解，将研究Lq (0 ≤ q < 1)正则意义下的模型，以及特定条件下分解的唯一性；对于稳健分解，将根据具体非高斯噪声分布情况，在张量分解模型中引入相应的稳健损失函数，研究带有非高斯噪声的张量分解的近似性；此外，从统计或优化角度研究两类张量分解模型的稀疏性及稳健性；充分利用问题的可分结构，基于块坐标下降法和交替方向法的思想，设计高效的可求解大规模问题的分解算法，并给出严格的算法收敛性以及收敛速度证明。这些问题的解决将是张量分解的有效补充，并将在信号处理及机器学习等领域中提供更广阔的应用场景。

人类已经进入海量数据时代，而张量是描述海量数据的一个有力工具。类似矩阵分解，张量分解或逼近是张量研究的基础。围绕张量分解或逼近，我们取得如下几方面的成果：.1、正交或部分正交张量分解。提出一个无条件全局收敛的改进ALS求解算法，并在较弱条件下给出原始ALS算法的全局收敛性；充分挖掘问题结构给出一个具有理论近似界保证的近似算法。通过数值实验说明模型与算法有效性。.2、柯西噪声下正交张量分解：在带柯西噪声情形下，基于最大后验估计建立模型，利用柯西损失函数的半二次性并结合正交约束，提出半二次交替方向乘子法进行求解，并证明算法全局收敛性，通过数值实验说明模型与算法有效性。.3、稀疏秩一张量逼近：为了克服l1范数正则项统计上的偏差性，提出一截断的指数函数作为正则项。分析了解的非零元素值的下界以及非零元素个数的上界，提出重加权交替求最大法对模型进行求解并证明算法收敛性。通过数值实验说明模型与算法有效性。.4、其他张量分解：对一般张量逼近问题，提出自适应加速的临近最小二乘法，证明全局收敛性并通过数值实验说明算法的加速性。对C特征值问题，提出平移交替特征值分解算法，在无条件下证明全局收敛性。在一定条件下证明算法的线性收敛性。通过数值实验说明算法有效性。.5、张量奇异值特征值理论问题：在非负对称张量情形，将巴拿赫关于球面上多项式和多线性函数极值相等的一个结果推广到稳定点上；基于高斯过程，给出若干类高斯张量最大奇异值特征值期望的上界刻画。