基于异构域适配的欠标注场景迁移学习研究

Currently, the widely used machine learning algorithms are almost all supervised ones. It is crucial for supervised algorithms to collect enough well-labeled training samples. Labeled samples, however, are always scarce in reality. As a result, handling the situation where lacks labeled samples is quite important for real-world applications. Recently, transfer learning has been proven to be effective for such a situation. Domain adaptation is an important branch of transfer learning. This project studies the deep heterogeneous transfer learning based on heterogeneous domain adaptation, i.e., the source domain and the target domain have divergent feature spaces, and integrates our previous transfer learning techniques into deep networks. Furthermore, we propose a novel model which can actively generate training samples for the knowledge transfer based on generative adversarial networks. As a result, we can directly handle the sparsely labeled transfer learning. At last, all of the proposed methods will be verified on real-world datasets and applications, such as fine-grained multimedia classification and cold-start recommendation, to verify the effectiveness of the methods and present novel solutions for related industries.

目前在学术界和工业界最有影响力的机器学习算法几乎都是有监督算法。有监督算法永远面临着完备标注训练样本稀缺的问题。研究欠标注场景下的机器学习问题是一个非常有实际应用意义的课题。近年来的研究成果显示迁移学习可以有效应对欠标注场景。域适配是迁移学习的一个重要研究分支和实现手段。本项目基于异构域适配，即基于源域和目标域采样自不同的特征空间或不同的数据模态的域适配问题，研究深度异构迁移学习模型，将已取得的迁移学习成果与深度网络融合。更进一步，本项目拟基于对抗生成网络，提出可以主动生成训练样本的深度自适应异构迁移学习算法，从而正面应对欠标注场景。最后，本项目拟将所提出算法应用到实际的欠标注机器学习场景中，特别是多媒体精细分类问题和冷启动问题中，以验证算法的有效性，并为相关产业提供新颖的解决方案。

本项目按预定计划，完成了文献调研，理论研究，算法设计，数据处理和实验验证等工作。.本项目重点研究了领域自适应（Domain Adaptation）问题。在一般设定的无监督领域自适应问题中，我们提出了多个深度领域自适应算法，例如通过对抗地最大化最小化熵来使我们的模型具有可迁移性以及域适应任务的可辨别性，引入最小化梯度差异解决双分类器算法只保证输出相似性并不能保证目标样本准确性的问题，使用对抗攻击进行领域自适应等。除此之外，我们还提出了多种复杂设定的无监督领域自适应算法，比如多域领域自适应和无源领域自适应。针对不同的算法，我们在相应的标准公开数据集和实际应用场景中验证了算法的有效性和先进性。.此外，我们围绕迁移学习，在多个分支领域上取得了丰富的成果。特别是在零样本学习方面，我们提出了三个非生成式零样本学习算法以及三个生成式零样本学习算法。我们的非生成式算法具有可以同时提取视觉特征表示和语义特征表示等优点。在应用方面，我们主要针对计算机视觉，多媒体和推荐系统开展研究。比如首次揭示了零样本学习和冷启动推荐是相同内涵的两个不同扩展。.本项目圆满完成了预定的研究目标和成果目标，代表成果包括15篇CCF A类会议和期刊论文（包括2篇TPAMI），1篇CCF B会议论文以及6篇JCR一区期刊论文，这些研究成果得到了国内外学者的广泛关注和引用评述，部分研究成果入选ESI高被引论文和热点论文，以及中国百篇最具影响国际学术论文。