基于稀疏表示和深度学习的大规模目标检测

With the great progress achieved by deep learning in the field of computer vision, research on image classification and object detection is under rapid development. Hence, it is of great research value and promising application perspective. In this project, we will launch the research on solve the problems of scarcity of labeled training data, robustness and efficiency existed in large scale object detection: (1) As for the first problem, we will develop an efficient and precise large scale near-duplicate image retrieval system, and propose an geometric consistency verification approach based on sparse representation, to realize the effective expansion of training dataset; (2) In order to fully mine the relationships among object categories, we study the correlation metric learning of object categories guided by the WordNet, and propose a novel kind of convolutional neural networks based on graph model (G-CNN) to improve its robustness; (3) To improve the efficiency of object detection, we study how to exploit the locations of regions and confidences of being a specific category to realize the combination of both region proposal generation and post-classification together, and present a G-CNN object detection method based on fusion of both region location and category confidence. Based on the above the research, we will construct a demonstration system and test it through participating in the relative international evaluations. Thus, we expect to make breakthrough in the key technology of large scale object detection, and to promote the development of visual content analysis and understanding technology.

随着深度学习在计算机视觉方面取得的长足进步，图像分类与目标检测研究发展迅猛，具有重要的研究价值和广阔的应用前景。本项目针对大规模目标检测存在带标签的训练数据稀缺、检测方法的鲁棒性和效率问题展开研究：⑴针对带标签的训练数据严重稀缺问题，研发高效精准的大规模近似图像检索系统，拟提出基于稀疏表示的几何一致性校验方法，实现训练数据集的有效扩充；⑵研究基于WordNet指导的目标类别相关性度量学习方法，拟提出基于图模型的深度卷积神经网络(G-CNN)，以充分挖掘目标类别之间的关系，提高网络的鲁棒性；⑶研究如何利用区域位置信息和类别置信度，实现候选区域产生和目标识别确认的统一，拟提出融合位置和类别置信度的G-CNN目标检测方法，提高目标检测的效率。在此基础上，构建实验验证系统，参加相关国际评测，以期在大规模目标检测关键技术方面取得突破，从而促进视觉内容理解技术的发展。

在为期四年的项目实施期内，我们按照项目计划目标和内容，对大规模目标检测存在的三个关键问题训练数据稀缺、检测方法的鲁棒性和效率问题展开研究，主要研究内容总结如下：.一、针对训练数据稀缺问题，我们重点研究了基于深度学习的大规模图像检索方法，提出了基于目标检测和自适应聚合的视觉目标检索方法、非对称对抗网络的图像转换方法，研发了基于深度学习的大规模图像检索系统，实现了训练数据集的有效扩充。.二、针对目标检测与分割的鲁棒性问题，提出了基于类别聚合和共现关系增强的目标检测、基于图卷积网络的目标检测窗口去重、基于隐式负例挖掘和类别分流的目标检测、尺度自适应和透视变换自适应卷积，以及针对大规模多类别数据的长尾问题提出了基于均衡分组Softmax的长尾数据目标检测，以及融合检测和跟踪的视频目标检测等方法。.三、针对目标检测与分割的效率问题，我们主要研究并提出了基于高分辨率特征重建的加速方法和基于上下文指导的轻量级网络方法。.四、我们将目标检测应用于图像自动语言描述和医学图像中的肺结节检测和乳腺肿块检测，提出了融合全局和局部特征注意力的图像描述自动生成方法、基于注意力机制的三维卷积神经网络肺结节检测方法、四维DCE-MRI图像中的时空乳腺肿块检测方法。.在此基础上，构建了实验验证系统，参加相关国际著名评测—2016年ImageNet大规模视觉识别挑战赛和2019年大规模实例分割比赛（LVIS Challenge）取得优异成绩。相关成果应用于肺结节、乳腺肿块辅助诊断、特定目标检测、奢侈品真伪鉴别等。.在项目执行期间，项目团队共发表学术论文22篇，包括国际顶级会议论文8篇、国际顶级期刊论文5篇；申请发明专利9项（已授权3项），软件登记1项。培养博士生1名，硕士生6名。项目负责人获2019年国家自然科学二等奖。