有监督和半监督多视图特征学习方法与应用研究

Multi-view data can provide characterizations about a specific object from multiple viewpoints and usually contains more useful information for classification than the single view data. In real-world applications, many classification or recognition tasks are essentially the multi-view data based classification problem. For example, in the webpage classification task, since a webpage usually contains multiple types of data, e.g., text, image, and hyperlink, webpage classification can be realized by performing multi-view feature learning. Focusing on the multi-view feature learning technique, this study explores its applications in real-world classification or recognition problems. Specifically, the research contents include: 1) designing the supervised multi-spectral deep learning model, and studying the application of multi-spectral (multi-view) deep neural networks in multi-spectral face recognition; 2) building the semi-supervised multi-view correlation feature learning model, and studying the application of multi-view subspace learning in the webpage classification task; 3) designing the semi-supervised multi-view low-rank dictionary learning model, and studying the application of multi-view dictionary learning in the multi-type feature sets based image classification task. Focusing on practical application problems, this research will develop a set of effective multi-view feature learning methods, which will promote the development of the multi-view feature learning technique effectively.

多视图数据从多个角度刻画同一物体，包含了比传统的单视图数据更加丰富的分类识别信息。在实际应用中，很多分类识别任务本质上是包含多视图数据的分类问题，比如在网页数据的分类任务中，由于网页常常使用包含文本、图像、超链接等多种类型的数据，网页数据的分类可通过进行多视图特征学习来完成。本研究正是针对多视图特征学习技术，探索其在多种实际分类识别问题中的使用。具体地，研究内容包括：1）设计有监督的多光谱深度学习模型，基于该模型研究多光谱（多视图）深度神经网络在多光谱人脸识别中的应用；2）构建半监督多视图相关性特征学习模型，研究多视图子空间学习在网页分类任务中的应用；3）建立半监督多视图低秩字典学习模型，研究多视图字典学习在基于多类型特征集的图像分类任务中的应用。本项目将结合实际应用问题设计一系列有效的多视图特征学习方法，促进多视图特征学习技术的进一步发展。

多视图数据从多个角度刻画同一对象，包含了比传统单视图数据更丰富的信息。不同视图数据间存在相关性或异质差异，如何从多视图数据中有效地提取鉴别特征用于分类检索任务是一个重要的研究课题。本研究结合网页分类、多光谱人脸识别、跨模态检索、软件缺陷预测等具体应用，从多视图子空间学习、多视图字典学习、和多视图深度学习这三个层次，针对多视图特征提取技术展开系统研究。主要研究内容包括：.（1）设计了一种多视图子空间学习方法，即半监督多视图特定和共享特征学习。联合学习视图特定和共享的投影变换，挖掘视图间的互补性和相关性。.（2）设计了两种多视图字典学习方法，即多视图合成解析字典学习和代价敏感核半监督字典学习。为每个视图学习结构化鉴别字典，并考虑了错误分类代价以及字典学习效率等重要因素，采用代价敏感学习以及合成解析字典学习等技术，增强所学多视图字典的鉴别性，提升多视图字典学习过程的效率。.（3）设计了三种多视图深度学习方法，即光谱内鉴别和光谱间相关性分析深度网络，模态特定和共享生成对抗网络，以及基于深度度量的不相关代价敏感多集特征学习。结合深度度量学习和生成对抗网络等深度学习机制，从视图内（光谱内/模态内/集合内）和视图间（光谱间/模态间/集合间）两个方面，挖掘有用相关性，去除冗余，充分利用多视图数据，学习深度鉴别特征表示。.本研究设计了一系列有效的线性或非线性有监督/半监督多视图特征提取方法，在多个领域的公开数据集上取得了良好的效果和性能，有效促进了多视图特征提取技术的发展。