基于监督的非线性距离度量学习算法研究

Distance metric learning is an important research topic in machine learning and data mining, and it has great value in many domains, including object recognition and text categorization. The focus of existing metric learning research is mainly concentrated on the Mahalanobis distance metric learning for vector data, however, more and more application data present in the form of histogram, multi-modal and set data. For these data, the research on the nonlinear metric learning is little and needs to be further explored. Aiming at visual object recognition applications, the project will research the supervised nonlinear distance metric methods based on three possible forms of feature representation of objects of interest: histogram, multi-modal and set data, so as to improve the recognition accuracy of specific task and explore new learning theory and algorithms. Firstly, chi-square distance metric learning for histogram data representation will be investigated based on SVM. Secondly, we will study how to efficiently fuse information from multiple modalities through nonlinear metric learning. Finally, for recognition task with the set representation, point (set)-to-set nonlinear distance learning will be explored. The production of this project will provide an efficient means for the understanding and modeling of histogram, multi-modal and set data. Meanwhile, it also provides the basis for the relevant application of visual object recognition.

距离度量学习是机器学习和数据挖掘中的一个重要研究课题，它在目标识别和文本分类等领域有着巨大的应用价值。现有的研究主要针对向量数据进行马氏度量学习，然而越来越多的应用数据呈现为直方图、多模态和集合。目前对于这些数据形式还缺乏深入的非线性度量学习研究。针对视觉目标识别应用，本项目拟对待识别目标的三种特征表示形式：直方图、多模态和集合，分别开展监督的非线性度量学习算法研究，以便获得适合特定识别任务的距离度量。首先，针对直方图数据表示研究卡方距离度量学习方法；其次，研究如何通过非线性度量学习对多模态数据信息进行有效融合；最后，针对集合数据表示开展点（集合）到集合的非线性度量学习研究。该项目的研究将为直方图、多模态和集合数据的理解和建模提供有效手段，同时为视觉目标识别的相关应用提供基础。

距离度量是表示样本间相似性的基础，许多机器学习任务如分类、识别和检索等的性能显著地依赖于所采用的距离度量。因此，针对不同任务数据开展自适应的距离度量学习算法研究具有极其重要的应用价值。本项目基于距离度量学习开展了一系列的研究工作，主要的研究内容和成果有：(1)本项目设计了指导距离度量学习的显式距离加权损失函数，并基于视觉数据调查了损失函数中显式设计的距离梯度对深度度量学习算法的影响。(2)基于深度度量学习框架，本项目研究了组合损失、软池化和Non-Local模块对行人重识别检索性能的影响。(3)为了在数据填充时考虑特征重要性，本项目针对不完整数据提出了一种迭代地进行数据填充和特征加权向量更新的特征选择算法。注意加权欧氏距离的权值对应于要学习的特征加权向量。(4)针对蛋白质二级结构预测任务，本项目研究了如何设计轻量级的嵌入网络以便高效地融合氨基酸序列的三种模态特征信息。特别地，提出的深度度量学习二级结构预测算法以较少的参数获得了较好的二级结构预测精度。(5)为了基于氨基酸嵌入特征研究蛋白质折叠识别，本项目将折叠识别问题转换为点到点的距离度量学习和点到集合的距离度量学习。实验结果表明引入软池化操作层的嵌入网络能够获得较高的折叠识别精度。