半配对的图像和文本异构迁移学习方法研究

In order to classify the large amount of unlabeled image data, heterogeneous transfer learning can be adopted to complete the image classification task in the target domain with the aid of some related and labeled text data in the source domain. Because the image and text data are in two heterogeneous feature spaces, the paired image-text co-occurrence data are usually used as the bridge between the two spaces. In fact, the obtained image-text data are often semi-paired (some data are paired, some are not paired). To deal with the semi-paired data, the specific research contents are as follows: (1) With research on the consistency and complementarity of semi-paired data, a heterogeneous transfer learning model will be constructed to handle the semi-paired data, and it can be applied in a more general case; (2) With research on the main characteristics of the noises in the semi-paired data, a robust heterogeneous transfer learning model will be designed to reduce the effect of noises on the performance of classification; (3) With research on the pairwise constraints in the semi-paired data, a semi-supervised heterogeneous transfer learning model will be proposed to obtain a better learning results. The heterogeneous transfer learning models will be applied to the domains of image and text. The goal is to improve the performance of image classification.

为了对大量无标注的图像数据进行分类，可以采用异构迁移学习的方法，利用相关源领域中有标注的文本数据，辅助完成目标领域中的图像分类任务。由于图像和文本处于两个异构的特征空间，通常采用配对的图像-文本共现数据作为沟通两个空间的桥梁。而实际获得的图像-文本数据，大部分是半配对的(有些数据是配对的，有些数据是不配对的)。为了处理半配对的数据，本项目的主要研究内容如下：(1)研究半配对数据中的一致性和互补性，构建能够处理半配对数据的异构迁移学习模型，使得模型有更广泛的应用场景；(2)研究半配对数据中噪声的特点，设计鲁棒的异构迁移学习模型，减小噪声对模型性能的影响；(3)研究半配对数据中的成对约束信息，设计半监督的异构迁移学习模型，产生更好的学习效果。把以上构建的异构迁移学习模型，应用到图像和文本领域中，目标是提升图像分类的性能。

为了解决某些领域中存在较少标注数据或大量无标注数据的问题，可以采用迁移学习的方法，利用相关源领域中有标注的数据，辅助完成目标领域中的任务。由于迁移学习通常存在缺乏理论支撑、分布差异大、数据不完整的问题，本项目的主要研究内容如下：(1) 提出面向认知的多源数据学习理论，为迁移学习算法提供理论保障；(2) 研究多源数据的分布特性，构建类内距离小和类间距离大的迁移学习算法，缩小不同领域的分布差异； (3)研究半配对数据中的不完整信息的特性，设计半配对的迁移学习模型，使得模型有更广泛的应用场景。构建的迁移学习模型，应用到了图像-文本领域、驾驶场景识别领域、跌倒检测任务中。