基于矩阵低秩近似的大规模核/度量学习研究

基于数据的机器学习是现代智能化技术的一个重要方面，其中核函数模型选择是一个难点问题，核学习和度量学习是研究核函数的度量特性、解决此问题的热点方法。合适的模型和高效的算法是其广泛应用的前提，本项目结合该领域国内外的新进展，采用核矩阵的低秩近似，降低(多)核/度量学习的计算、存储复杂度，给出适合大规模问题的快速算法，并解决近似过程中所涉及到的理论问题。首先从优化的角度研究非凸的秩约束半定规划问题及其凸近似模型，上分析不同的正则化方法、不同的低秩近似误差及其导致的模型间接误差；其次研究核学习和度量学习的统一半定规划模型，揭示核学习的度量特征，结合矩阵低秩近似，给出复杂度更低的快速算法；最后基于新的优化技术和核矩阵低秩分解，选择合适的光滑函数，利用光滑、半光滑化极大极小问题的快速求解算法，研究适于大规模多核学习的快速算法。项目具的创新性和前沿性，其研究成果将大大推动核/度量学习更为广泛的应用。

本项目在国家自然科学基金的资助下，以研究大规模矩阵的低秩近似为主要思路，以设计相关高效算法为主要目标，按照资助计划书展开了系统的研究，在大规模支持向量机学习算法、核PCA、光滑/半光滑方法、广义矩阵低秩近似、非负矩阵分解等领域取得了一系列的研究成果。主要研究成果总结包括：1)采用迭代Cholesky方法研究核矩阵的低秩近似，降低核学习的计算、存储复杂度，并结合应用广泛的最小二乘支持向量机(LSSVM)模型，给出适合大规模问题的快速算法，研究并解决了近似过程中所涉及到的理论问题，取得了显著的效果；并进一步应用于大规模训练数据的核PCA以及核2DPCA，就其在人脸检测、特征提取等领域的应用进行了实验，取得了满意的效果。2)从优化的角度研究了不同正则化方法、不同的低秩近似方法、不同的光滑化方法下的支持向量机模型的差异，并就相应的快速算法进行了大量的数值比较实验。3)研究并给出了一种大规模人脸检测的广义低秩近似的非迭代快速算法。4)在非负矩阵分解的算法方面，研究了一种新的秩二修正算法、提出新的的两点步长Barzilai-Borwein(BB)梯度算法、非单调投影梯度算法和二次正则投影BB算法等，这些算法都优于已有的相关算法。5)项目组部分成员也深入研究了课题进展过程中导出的其它优化问题，取得了丰硕的成果，如求解NCP问题的半光滑Newton算法、对称锥、线性互补、半定规划等高效算法。6)研究了克服噪声影响的基于非凸损失函数的相关学习问题，并结合核矩阵的低秩近似，提出具有稀疏性的适合大规模数据训练的高效快速算法，该思路能有效应对大数据时代有关领域的严峻挑战，是课题组下一个阶段的主要研究方向。.在项目资助期间，课题组发表或录用与项目相关论文43篇，其中SCI收录23篇，EI收录34篇，其余发表在国家核心期刊上。其中有标注基金资助共33篇(SCI收录19篇，EI收录24篇)。获得授权专利3项。超额完成资助计划书预期目标。