数据降维中约束矩阵迹问题的理论与高效数值方法

With the rapid development and extensive applications of the information technology，more data with high dimension and complex structure occurs very quickly. At the same time, the dimension of expansion has caused serious "curses of dimensionality ", and the dimension reduction method as the availability means has been used to overcome this problem. The constraint matrix trace minimization problem and trace ratio maximization problem investigated in this project have been derived from all kinds of high dimensional data reduction methods, which efficient numerical methods are an important content of dimension reduction processing and affect the practical applicability of dimension reduction methods and the validity of the processing results directly. The project systematacially investigates the solvability theory and perturbation theory of these two types of constraint matrix trace problems, especially for the undersampling cases, discusses the existence conditions and characterises the structures and properties of the solutions. On this basis, the efficiency, stable numerical methods as well as the corresponding iterative acceleration technology and preconditioning methods will be presented. Furthermore, the reasonable, robust regularization models would be built for the noise sensitive dimension reduction methods, and finally the mathematical theories and some high efficiency, stable and reliable numerical methods adapted to all kinds of data dimension reduction methods will be provided respectively for the related engineering technology fields.

随着信息化技术的快速发展及其广泛应用，使具有高维数的非结构化数据信息大量出现。同时，维数的膨胀导致了严重的"维数灾难"问题，而降维方法是克服这一问题的有效手段。本项目所研究的约束矩阵迹最小化问题和迹比最大化问题来源于各种高维数据降维方法，其高效数值求解方法研究是降维处理的一个重要内容，将直接影响到降维方法的实用性和处理结果的有效性。本项目系统研究这两类约束矩阵迹问题，特别是欠采样情况下的可解性理论和扰动理论，探讨解的存在性条件，深入刻画解的结构与性质，在此基础上，设计出高效、稳定的数值求解方法，及其相应的迭代加速技术和预处理方法。进一步，对噪声敏感的数据降维方法，建立合理、鲁棒的正则化模型，并最终为相关工程技术领域提供分别适应于各类数据降维方法的数学理论和高效、稳定、可信的数值求解方法。

降维方法是用来克服“维数灾难”问题的典型数据处理技术，它在数据可视化、数据压缩、模式分类与识别、计算机视觉等众多研究领域中扮演着重要的角色。本项目主要针对来源于各类高维数据降维处理方法的约束矩阵迹最小化问题、矩阵迹比最大化问题及其扩展问题，在可解性理论、高效算法设计以及欠采样正则化模型等方面展开了系统研究，取得的主要研究结论和成果如下: (1) 约束矩阵迹最小化问题是相应的约束矩阵方程最小二乘问题的一个特例。本项目研究了两类约束矩阵方程最小二乘问题，得到了这两类问题解的判定条件，给出了求解的迭代算法及相应的预处理方法，并通过数值算例验证了算法的有效性。在此基础上，开展了相关问题的应用研究，将所研究问题的理论方法和数值方法应用于解决图像处理以及人体姿态估计等实际科学工程问题。(2) 研究了约束矩阵迹比和最大化问题，通过将该问题等价转化为关于单变量的非凸矩阵优化问题，给出了求该问题的全局最大解的数值方法，并通过数值实验验证了该方法的有效性。(3) 研究了欠采样情况下，约束矩阵迹比最大化问题的正则化模型。根据数据样本的非线性性，利用降维数据和子空间的距离作为模型的正则项，构造了一类不依赖参数选择的正则化模型，给出了求解该模型的迭代算法，证明了该算法的收敛性。(4) 研究了大规模数据处理、图像压缩等领域中的多重测量向量（MMV）的稀疏表示问题。利用矩阵谱范数次微分的性质，构造了一个与矩阵相关的收缩算子，并由此得到了MMV-ADM算法的一个收敛定理，并进一步通过数值实验验证了MMV-ADM算法恢复多重测量向量的有效性。