对抗负迁移：安全迁移学习及其应用研究

Transfer learning uses the source domain to help the learning in the target domain, in order to alleviate the scarcity of instance labels in the target domain. However, researches have also pointed out that transferring unrelated source knowledge may hurt the learning performance of the target domain, inducing negative transfer. The problem of negative transfer has become a key issue in the transfer learning research. In fact, the reasons for negative transfer lie in both aspects of data and model. This project plans to investigate from the data aspect in order to design learning strategies against negative transfer. The concrete researches include, 1) A sequential transfer learning method, which transfers the related source instances sequentially from the most relevant ones to the irrelevant ones. 2) A partial transfer learning method based on the partial “instance-feature” knowledge in the source domain. These researches areexpected to overcome the negative transfer issue for safe transfer learning.

迁移学习（transfer learning）利用源域辅助目标域学习，以缓解目标域样本标签稀缺的问题。但有研究指出：若迁移了无关的源域知识可能会损害目标域的学习性能，导致负（面）迁移（negative transfer）问题，如何对抗负迁移已成为迁移学习研究中的核心问题之一。实际上，导致负迁移的原因主要存在于数据和模型两个层面。本项目拟从数据层面开展研究，提出对抗负迁移的学习策略。具体研究内容包括： 1）按照“从最相关到不相关”次序依次迁移源域中相关样本的“渐远式”迁移学习方法；2）基于源域中局部“样本-特征”知识的局部迁移学习方法。所获成果期望能为有效对抗负迁移以实现安全的迁移学习提供有益参考。

迁移学习（transfer learning）利用源域辅助目标域学习，以缓解目标域样本标签稀缺的问题。但无关的源域知识可能会损害目标域的学习性能，导致负迁移（negative transfer）问题，如何对抗负迁移是迁移学习中的核心问题之一。导致负迁移的原因主要存在于数据和模型两个层面。因此，本项目拟分别从数据和模型两层面开展研究，具体研究内容包括：1）从数据层面出发，提出了相关样本优先的渐进迁移学习方法，从最相关到不相关迁移样本，直至利用了所有的相关知识；2）提出基于软大间隔聚类的域适应学习方法，在域适应中同时关注目标域自身的聚类结构。从模型层面，3）提出了基于教师-学生模型的异构域适应学习方法，以实现“无迁移”和“有迁移”间的自适应平衡和折衷；4）提出判别感知的域对抗网络，在利用对抗方式实现域对齐的同时，最大化域间不同类的距离。此外，针对标记稀缺的半监督学习，5）提出了点状流形正则化分类学习框架，将聚类假设刻画为各样本点与其近邻间的相似性。