面向弱标注视觉大数据的稳健学习和交互式标注方法研究

In recent years, with the rapid development of deep learning techniques and the establishment of large-scale datasets, significant improvement on the image classification performance has been achieved. However, the manually labeling of large-scale dataset is very costly, and the detailed annotation (e.g., the size and location of the objects, the pixel-level semantic label, etc.) further increases the cost. In addition, the widely used crowdsourcing approach will inevitably introduce incorrect labels. How to reduce the annotation cost and how to improve the robustness to annotation errors are the key issues to be addressed in this project. More specifically, we will conduct the following studies on large-scale datasets with weak annotation. 1) We will investigate effective active learning methods to discover the unlabeled samples with the most information gain and the best representative ability. In addition, we will develop novel weakly supervised and semi-supervised learning algorithms to automatically annotate the samples with high confidence and make full use of the weak annotation. 2) We will develop robust learning models to improve the robustness to annotation errors caused by both human and machine. 3) We will propose new measures to evaluate the performance of robust learning and interactive annotation methods. .This project will initiate a new direction of visual learning for large-scale dataset with weak annotation. The outputs of this project will have not only high academic significance, but also great potentials in industrial applications. Our project group has strong research background in the related areas, which can ensure the smooth progress and successful completion of the project.

近年来，随着深度学习技术的发展和大规模数据集的发布，图像分类性能得以大幅度提高。然而，大规模数据集的类别标注会耗费大量人力物力，而样本的详细标注（如物体大小和位置、像素级语义标签）会进一步加剧标注成本。此外，目前广泛使用的众包标注会不可避免地引入错误标记。如何降低标注数量和标注程度并提升对标注错误的容忍度，是本项目关注的核心问题。因此，针对大规模弱标注数据，本项目将从以下方面开展研究：1) 研究有效的主动学习算法，挖掘最具信息增益和表达能力的未标注样本，并发展弱监督和半监督学习算法，实现高信度样本的自动标注并充分利用弱标注信息；2) 研究稳健学习模型，改善对人工和自动标注错误的鲁棒性；3) 进行性能评测，建立稳健学习和交互式标注方法的评价指标。本项目将开辟图像分类的一个新的重要发展方向，并可推动研究向实用化发展，具有重要的学术意义和应用价值。项目组具备良好的研究基础，可为项目开展提供保障。

图像分类是计算机视觉领域的基础性问题，近年来得到了广泛关注和深入发展。图像分类性能的跨越式提升主要依赖大规模数据集和深度学习。随着视觉感知技术的发展，图像和视频数据的采集难度大幅降低，导致大规模数据爆发式增长。然而，大规模数据集标注（如物体大小和位置、像素级语义标签）一方面会耗费大量人力物力，加剧标注成本。另一方面人为或自动标注也不可避免地会引入错误标记。如何降低标注数量和标注程度并提升对标注错误的容忍度，是本项目关注的核心问题。..针对上述问题，本项目基于弱监督学习框架，研究改善图像标注成本和图像分类算法稳健性的有效方案：.（1）针对数据标注的完整程度和差异性，建模弱监督学习，实现了大规模未标注数据的充分利用，在目标检测、目标跟踪、细粒度分类等问题中成功应用，并取得了优于传统方法的性能；.（2）针对未标注样本，通过对损失函数、正则项和路径正则项的设计，构建样本自动标注方法并发展了有效的半监督学习方法；.（3）基于半监督学习模型对未标记样本自动分配的置信度，构建置信度引导的结构化稀疏表达(USSR)模型，通过主动学习，建立待标注样本的标注类型和标注程度预测模型，为样本自动标注提供了统一的解决方案；.（4）针对不可避免的标注错误，通过研究标记错误的分布规律，建立判别模型以保证稳健性，通过稳健学习方法，提高了图像分类和目标检测等任务性能；.（5）构建了一个面向海量弱标注视觉数据学习的原型系统，并建立了稳健学习和交互式标注方法的评价指标。..在项目支持下，发表IEEE T-PAMI、T-IP等国际期刊及CVPR/ICCV/ECCV等国际会议论文20余篇。参加CCF A/B类会议8人次，邀请国外学者讲学3次，博士生海外访学1人次。培养博士生6名，硕士生1名。