视觉目标检测自主学习关键技术研究

Deep learning model-based visual object detection system requires a large amount of accurate annotation data to obtain the features with good representation. The advent of big data has provided us with a wealth of data resources, while it will cost significant time and labors to obtain a sufficient sample size from manual annotations. Therefore, the project will study a semi-supervised dynamic sample mining technique based on active learning, self-learning, and other related technologies, aiming to obtain more robust features and reduce the dependence of deep learning models on manual annotation data. The main contents of this project are as follows. (1) Studying deep learning features with rotational invariance for visual object and improving the ability to represent deep features; (2) Studying autonomous targeting and feature learning models of visual targets based on deep invariant features; (3) Study a common "low-cost, high-yield" dynamic data annotation framework, which can greatly reduce the cost of manual annotation while ensuring the performance of detection. The common data annotation framework proposed in this project can be widely applied to all kinds of deep learning models. The project team has a good foundation of research in such aspects as deep learning and video target detection. It conducts preliminary research on image classification and weakly supervised learning methods for active learning, which can provide a guarantee for this project.

基于深度学习的视觉目标检测系统需要大量精确标注的数据来获取具有较强表示能力的特征。虽然大数据的出现为我们提供了丰富的数据资源，但是完全依靠手工标注来获得足够量的样本，需要花费高昂的时间与人力成本。本项目将基于主动学习、自监督学习等相关技术，研究一种半监督的动态样本挖掘方法，在获取更加鲁棒的目标特征表示的同时，减少深度学习模型对大规模人工标注数据的依赖。项目主要研究内容如下：(1)研究对于视觉目标具有旋转不变性的深度学习特征，提高深度特征的表示能力；(2)研究基于旋转不变性深度特征的视觉目标自主定位与特征学习方法；(3)研究一种通用的低成本、高收益的动态数据标注框架，在保证检测性能的同时极大地减少人工标注代价。项目组在深度学习、视频目标检测等方向具备良好的研究基础，针对主动学习的图像分类以及弱监督学习方法开展了前期的研究，其成果可为本项目的顺利开展提供保障。

目标检测是通过机器学习方法与对图像/视频中的特定目标进行自动定位与识别的过程，是计算机视觉领域最重要的任务之一。近年来，随着深度学习方法不断进步，涌现出了许多非常经典的目标检测模型。深度学习是典型的数据驱动的方法，为了获取较高的精度，需要大量精确标注的训练样本。但是通过人工精确标注的方式来获取如此多的训练样本，需要花费高昂的时间与人力成本。为了减少深度学习模型对的样本标注依赖这一问题，本项目从特征与模型两个层面出发研究未标注样本的数据挖掘方法，设计更加稳定的、鲁棒的特征与分类模型。.围绕上述研究内容，项目针对目标检测与识别问题，结合无监督学习、弱监督学习和小样本学习等相关任务，提出了一系列的代表性的深度神经网络模型。（a）针对弱监督行人再识别问题，提出了基于可微分图学习的深度学习模型（DGL），通过包标签嵌入的方法实现图像级伪标签的获取，并实现模型的端到端训练。同时提出了一个包含约30M样本的弱监督行人再识别数据集。（b）对行人再识别模型的鲁棒性进行了研究，提出了一种基于错误再分级的攻击方法，为行人再识别模型的改进提供了一个新的方向。（c）针对目标检测问题，探讨了目标检测器的对抗性鲁棒性以抵抗各种现实场景中实际应用的对抗性攻击，提出了一种基于对抗感知卷积的鲁棒检测器来解耦梯度，同时采用对抗图像鉴别器和具有重建的一致特征来确保可靠的鲁棒性。（d）针对动作识别问题，项目提出了基于混合Transformer的无监督学习框架，用于基于骨架的人类动作识别，通过由分层聚合的自注意力模块组成，以更好地捕获骨架序列中的空间和时间结构。（e）项目还开展了小样本学习、图像生成、图像超分辨等方面的研究。