半监督距离度量学习的优化模型与有效算法研究

The project aims to study the optimization models and algorithms for semi-supervised distance metric learning. It is well-known that the metric learning is a popular research topic in machine learning, pattern recognition and data mining. And it has been applied to the fields of artificial intelligence, recommendation system, social network, face recognition task, information retrieval, etc. In this project we will focus on the topic of semi-supervised metric learning with its optimization model, metric learning algorithm, metric-based algorithm, and performance of numerical experiments on some classification problems，clustering problems. We will first exploit the relationship between symmetric positive definite matrix group and the cone, algebraically. Then we will establish the group symmetry to derive the dimensionality reduction by using representation theory and the theory of matrix differential manifolds of symmetric spaces in terms of the classical and exceptional simple Lie groups. For the reformulation of the semi-supervised Mahalanobis distance learning, with the constraint of low-rank matrix and the spare，we will present the relaxation of the primal hard problem to its convex relation, and derive the analysis of error bounds, optimality between the solution, the convergence, etc. Finally, we will carry out some numerical experiments on classification problem to demonstrate the efficiency of the proposed models and algorithms. Our goal is to provide the new approach to deal with classification problem，clustering problem in machine learning.

本项目旨在研究半监督距离度量学习(DML)中的优化模型与有效算法.距离度量学习是机器学习与计算机视觉领域的热点课题,主要应用到图像检索和分类、人脸识别、社交网络、推荐系统和数据分析等领域.本项目的研究内容是半监督距离度量学习的优化模型的理论分析、算法设计及数值实验.首先研究距离度量学习决策变量的可行域-矩阵黎曼流形的表示理论,建立矩阵流形的代数与正交表示、建立矩阵代数空间“基”的概念和表示理论,打通对称正定矩阵群与正定矩阵锥之间的关系.其次利用对称正定矩阵群的不变性研究问题可行域的低维分解与降维策略.然后建立带有低秩学习矩阵与稀疏约束的距离度量学习非凸优化模型,给出凸松弛问题与对应的一阶算法和有效内点算法.最后应用到疾病诊断、金融时间序列预测等问题.研究目标是用半正定规划与内点法的工具解决距离度量学习的关键科学问题,为分类与聚类问题提供创新方法,为计算机视觉与数据挖掘提供解决问题的新途径

本项目旨在研究半监督距离度量学习中的优化模型与有效算法.距离度量学习,或者称度量学习.是当今机器学习与计算机视觉领域的重要研究课题,主要应用到机器智能,计算机视觉,社交网络,推荐系统,信息检索,模式识别和数据挖掘等重要领域..根据项目的研究内容,研究方案与研究的具体年度研究计划,课题组首先聚焦了关于非线性半监督距离学习聚类问题的优化模型与算法,半监督孪生支持向量机分类问题的优化模型与算法,子空间聚类问题优化模型与算法研究，基于贝叶斯误差界的降维方法研究及应用.在研究中,我们认识到在机器学习,深度学习,统计学习等应用领域里的很多关键科学问题,可用一种特殊的优化模型来描述,称为正则化问题,它的数学模型简洁且结构明确，对模型对问题解的最优性条件表达和算法设计都至关重要，开展了具有混合正则项的稀疏优化模型与算法及其应用研究.另一方面,我们一直延续了课题组关于最优控制问题的研究,具体研究聚焦在时滞系统控制下的最优控制问题的混合时域转换方法. .研究内容可以概况成8个部分，研究成果20篇论文发展在国际优化和最优控制期刊.如下简述研究贡献和科学意义.1.非线性半监督距离学习聚类问题的优化模型与算法的主要贡献和科学意义是利用新的度量把数据投影到高维空间,把聚类问题建模成为可行域为正定矩阵群上的极小化问题.2.半监督学习直觉模糊拉普拉斯孪生支持向量机优化模型与算法研究的主要贡献是建立双正则项模型,其科学意义是在模型的构建和正则化同时考虑输入空间和特征空间.3.子空间聚类问题优化模型与算法研究的主要贡献和科学意义不仅考虑数据和优化问题解的稀疏性,提升到数据子空间的稀疏性.4基于贝叶斯误差界的降维方法的研究主要贡献和科学意义是利用贝叶斯误差极小化构建分类器,促进了贝叶斯误差理论在高维数据降维模型的研究的发展.5.混合正则项稀疏优化模型与算法研究.6.时滞系统控制最优控制问题的混合时域转换方法. 7. 池化问题的优化模型与算法研究.8.基于样本均值非零Oja算法在线主成分收敛性分析研究.