基于鲁棒表示的迁移学习理论与方法研究

Transfer learning is an effective machine learning method to address pattern classification where data are not in the same feature space or have the different distribution. Due to the complexity of data, transfer learning involves several critical problems and challenges: under-robustness, under-fitting, under-adaptation and negative-transfer. Therefore, it is practical significance to boost the learning efficiency and robustness of domain knowledge transfer. This research project proposes new theories and methods on transfer learning by using the intrinsic advantage of the robust representation model. Aim to the above problems and challenges, we, under the framework of low-rank and sparse representation, progressively propose the new ideas of “locality transfer”, “domain invariant transfer graph plug discriminant soft-label propagation”, “latent low-rank transfer” and “active transfer” etc to further study the technique of domain invariant feature transformation by taking the subspace learning, measure learning, graph learning and active learning as the related techniques. In order to improve the algorithms’ interpretability, the L2,1-norm is introduced to discover the significant factors that make positive contribution for the knowledge transfer and provide intuitive physical interpretation. This project has important academic significant to enrich the transfer learning theoretical system and the related theories and algorithms can be widely used in natural language processing, computer vision and biometrics recognition and so on.

迁移学习是有效解决数据不在相同的特征空间或不具有相同分布问题的机器学习方法。由于处理数据的复杂性，迁移学习中的欠鲁棒、欠拟合、欠适配以及负迁移问题与挑战交错叠加。因此，在大规模低质量数据驱动下，提升领域知识迁移的学习效率和鲁棒性具有重要的现实意义。本项目拟开展基于鲁棒表示的迁移学习理论与方法研究，针对上述问题与挑战，在低秩和稀疏表示框架下，以子空间学习、度量学习、图学习和主动学习等为相关技术，循序渐进地提出 “局部迁移”、 “域不变迁移图加鉴别软标签传播”、“潜在低秩迁移”和“主动迁移”等新思想深入研究域不变特征变换技术。为进一步提高算法的可解释性，引入L2,1范数学习理论与方法来发现对于知识迁移起关键作用的因子，并提供直观的物理解释。开展本项目的研究对完善迁移学习理论体系具有重要的学术意义，其研究成果在自然语言处理、计算机视觉、生物特征识别等领域都有重要的理论价值和广泛的应用前景。

如何有效地利用现有的且相关的资源来准确地分析目前的数据已经成为计算机视觉、机器学习和模式识别领域的热点，其中最显著的成果就是迁移学习，其本质是解决在不同数据驱动环境下迁移学习中欠鲁棒、欠拟合、欠适配和负迁移问题。本项目以低秩和稀疏理论支撑数据鲁棒表示（包括数据的自表示），利用其内在鉴别能力、数据结构保持能力以及处理低质量数据的鲁棒能力，以子空间学习和主动学习等为相关技术，深入探索和研究迁移学习的鲁棒建模方法、与迁移学习相匹配的分类模型以及算法的物理意义，从理论和方法上克服目前迁移学习方法面临的上述挑战。.在项目执行期间，项目组提出了一系列模型，包括可迁移的字典学习算法、基于矩阵低秩约束的可迁移的弹性网算法、可迁移的动态逼近的分类器算法、可迁移的线性鉴别分析算法和主动迁移学习算法，同时我们还提出了一系列的图学习和特征抽取算法。这些提出的算法有效地解决了上述四个问题，并且为我们下一步的研究方向打下了坚实的理论基础。在项目执行期间，项目组共发表17篇学术论文，其中包括10篇发表在 IEEE Transactions 汇刊，完成考核指标。在本项目资助下，2名硕士顺利毕业和2名博士顺利毕业。.项目期间取得的成果有效改善迁移学习在不同应用上的实现途径，从理论和实际应用的角度，探索鲁棒高效的建模方法。项目的实施，会相应的涉及模式识别理论、机器学习理论、最优化理论以及图像处理等相关知识，是一个跨领域且具有创新性的课题，对完善机器学习和模式识别领域相关理论也具有重要的学术意义。另外在很多工程实践中，为每个应用领域收集充分的、高质量的标记数据代价昂贵、甚至是不可能的，因此从辅助领域中迁移现有的知识结构从而完成或提高目标领域任务是非常必要的，而本项目的研究成果可以应用在实际目标识别、语音识别、视频分析、生物特征识别等领域，因此，具有重要的理论价值和广泛的应用前景。