非凸低秩结构学习方法及理论研究

The generalization problem is the core of pattern recognition, machine learning and computer vision, and data recovery method can provide a novel way to solve it. Compared with the low-rank matrix restoration problem based on convex nuclear norm, the related nonconvex model and optimization become very difficult in the low-rank structure learning theory. This project intends to study the learning methods and theories for nonconvex low-rank structure problems. The contributions can be summarized as follows :.(1) Build a low-rank model based on the matrix volume and the extended power exponential distribution function of matrix, respectively, and design first-order optimization algorithm with convergence guarantees. .(2) Combine the Maximum-Minimum (MM) optimization technology and the Gauss-Seidel and Jacobian iteration strategy, the desired optimization algorithm is used to solve a kind of nonconvex low-rank model without/with constraints. .(3) Discuss the model interpretation, nonconvex optimization scheme and theoretical analysis in depth..Finally, the achieved methods and theories are applied to process and analyse image and video data to verify their advantages.

泛化问题是模式识别、机器学习及计算机视觉的核心问题，而数据恢复方法是解决泛化问题的一种新颖思路。相比于基于核范数（凸）的低秩矩阵恢复问题，非凸模型及优化是低秩结构学习理论的难点问题。本项目拟围绕非凸低秩结构学习方法及理论进行研究，主要内容可概括为：（1）构建基于矩阵体积和推广矩阵幂指数分布函数的低秩模型，设计具有收敛性保证的一阶优化算法；（2）结合最大-最小（MM）优化技术及 Gauss-Seidel 和 Jacobian 迭代策略，设计一阶优化算法求解一类无/带约束的非凸低秩结构学习模型；（3）从模型解释、优化方案及理论分析等方面深入探讨。最后，将以上方法及理论的成果用于图像及视频数据的处理及分析上，并验证其优越性。

随着稀疏表示和压缩感知技术的发展，考虑到泛化问题是模式视觉、机器学习及计算机视觉的核心问题，而数据恢复方法是解决泛化问题的一种新颖思路。相比于基于核范数（凸）的低秩矩阵恢复问题，基于非凸的最小化模型及优化是低秩结构学习理论的难点问题。本项目主要围绕非凸低秩结构学习方法及理论进行了研究，取得的研究成果可概括为：（1）建立了基于矩阵体积、修正Schatten-p范数、推广矩阵幂指数分布函数的多变量低秩表示模型，设计了具有局部甚至全局收敛性保证的一阶优化算法，如交替方向乘子法、近端交替线性法及迭代重加权算法；（2）从构建的稀疏和低秩数学模型解释、可行优化方案及理论分析等方面进行了深入探讨，特别针对求解无/带约束的凸及非凸稀疏和低秩矩阵学习问题；（3）将所建立的低秩矩阵甚至稀疏编码学习方法及建立的理论成果，应用于图像及视频等真实数据的处理及分析上，验证了其在计算效率和学习能力上的优越性。如上取得的成果可与神经网络技术相结合也可推广到张量分析的研究中，具有一定的科学意义。