基于模型驱动迁移学习的大规模多源图像理解方法研究

Machine learning plays an increasing important role in artificial intelligence, computer vision, and data mining, etc. The key lies in that the training set and testing set are with independent and identical distribution (i.i.d.).However, this assumption does not hold due to the multi-source property of data, which results in the performance degradation of conventional methods. In this project, we will take multi-source image and video data as research object and image understanding as primary task, and carry out the research of model-driven transfer learning algorithms. Specifically, the contents of this project include: 1) in terms of the distribution discrepancy, the weakly-labeled classifier transfer learning model with random projection and label relaxation and its multi-view collaborative optimization are employed; 2) to achieve distribution consistency, the scatter and sparse subspace reconstruction based transfer models and local transfer oriented reproduced kernel transfer are explored; the multi-view subspace collaborative transfer is further studied and the internal mechanism of visual transfer is revealed; 3) Inspired by the large-scale visual representation of deep convolutional net, the feature match and adversarial based deep adaptation transfer is explored, and the universal and analytic effect of large-scale visual transfer model are achieved. This project aims at proposing structural transfer learning models and algorithms, constructing a scientific, reasonable, and efficient transfer learning methodology, and establishing theoretical and technical foundation for large-scale multi-source image understanding and recognition.

机器学习在人工智能、计算机视觉和数据挖掘等科学领域发挥着越来越重要的作用，其关键在于训练集和测试集满足独立同分布假设。然而，数据的多源化导致该假设不再成立，致使传统方法的识别性能下降。本项目拟以多源图像视频数据为研究对象，图像理解为首要任务，展开模型驱动迁移学习算法研究。具体内容包括：1）针对分布差异，研究了带随机映射和标签松弛的弱标记分类器迁移模型及多视角场景下的协同优化；2）为实现分布一致化，探索了基于散射和稀疏子空间重建的迁移模型以及面向局部迁移的可再生核迁移；并进一步研究了多视角子空间协同迁移，揭示了视觉迁移的内在机制；3）受深度卷积网的大规模视觉表征启发，研究了特征匹配和对抗的深度自适应迁移，达到了大规模视觉迁移模型的普适化和可解析效果。本项目旨在研究结构化的迁移学习模型和算法，构建一套科学、合理且高效的迁移学习方法体系，为大规模的多源图像理解与识别奠定理论和技术基础。

本项目旨在研究基于模型驱动迁移学习的大规模图像理解方法及其应用研究。为此，本项目从理论与方法层面，构思了两个方面的核心研究内容：1）研究了鲁棒迁移自适应学习理论与方法，创新地提出了一系列基于特征子空间重建、双分类器对抗学习、特征排序及解耦、动态加权机制的迁移学习域适配模型与方法，提升了深度学习方法在大规模跨域图像理解中的识别精度和迁移鲁棒性；2）基于上述迁移学习理论与方法成果，率先构建了面向开放环境的鲁棒视觉感知框架与模型，针对跨域目标检测、跨域图像检索、跨域人脸识别等基础视觉感知任务，提出了基于迁移学习和领域适配的跨域目标检测模型、跨数据集图像检索模型以及跨姿态人脸生成与识别模型，突破了传统视觉感知模型的新环境不适应问题以及模型鲁棒性问题，解决了一类非独立同分布的开放环境视觉感知问题。.以上创新性成果，提升了鲁棒机器学习、开放视觉感知等新框架、新方法的适应性和迁移性，进而促进了人工智能技术在未知环境中的鲁棒性和安全性。依托本项目，申请人以第一或通讯作者身份，共发表高水平学术论文31篇（第一标注）。其中，IEEE Transactions汇刊18篇，中科院SCI一区17篇，CCF-A类会议论文10篇，出版学术专著1部，申请发明专利6项。同时，申请人以第一完成人获得省部级科技成果奖4项，包括重庆市自然科学奖二等奖1项、中国人工智能学会吴文俊人工智能自然科学二等奖1项、中国人工智能学会吴文俊人工智能优秀青年奖1项、重庆市十佳科技青年奖1项。研究成果得到国内外知名院士专家的正面评价。上述成果已超额完成项目任务书的全部预期目标。在本项目原研究思路的基础上进一步延伸，凝练科学问题和学术方向，依托本项目的后续研究成果将继续在结余资金的支持下，整理和完善。最后，感谢国家自然科学基金委对本项目及申请人的大力支持。