弱监督视觉目标检测方法研究

Visual object detection is one of the core techniques of various intelligence systems. However, various existing visual object detection approaches usually utilize supervised machine learning methods to learn detectors from a considerable number of human annotated samples, which makes them not only be requiring lots of human efforts but also difficult to be adaptive to various kinds of large-scale applications. This research project proposes a new visual object detection strategy, weakly supervised object detection, which targets at utilizing weakly supervised learning to significantly reduce the human efforts on object sample annotation. The research problems involve new effective weakly supervised methods, weakly supervised deep feature enhancement and fine-tuning strategies, and weakly supervised learning algorithms for typical visual applications. During the learning procedure, we use multi-objective optimal functions to prevent the non-convex objective function from getting into stack of local minimum. Given a pre-trained deep CNN, we use generative model and online fine-turning to enhance the discriminative capacity of deep features. We also explore a weakly supervised and incremental training sample labeling strategy to iteratively improve the detector in video. The investigated methods and algorithms are expected to be valuable to various intelligent information processing systems including self-learning cameras and automatic object detection modeling software in large-scale image sets.

视觉目标检测是智能信息处理系统的关键核心技术。现有目标检测系统通常依赖于监督机器学习方法，建模过程中需要大量人工标记样本，难以应对海量图像视频数据的挑战。本项目研究先进的带有隐变量的机器学习方法用于弱监督视觉目标建模，以显著降低样本标注工作量。研究涉及弱监督学习方法、弱监督深度特征增强与在线调优策略、大规模图像数据集合与监控视频场景的弱监督检测算法；针对隐变量支持向量机的非凸优化目标函数，研究抑制模型学习陷入局部最优的多目标优化方法，消除目标部件与类别相关性等因素对弱监督模型判别性能的影响，增强对样本全局一致性约束；将生成式深度特征学习与弱监督深度网络调优相结合，在线增强深度特征表示能力；采用增量式目标样本自动标注算法，实现自主式视频关键目标建模。研究旨在解决制约弱监督目标检测性能的瓶颈问题，为自主式大规模视觉目标建模软件、自学习智能监控相机系统提供方法支撑。

弱监督的目标检测方法通过图像级标注代替样本框的标注，进而显著降低视觉建模中的工作量。在弱监督设定下，互联网上存在的大量带有图像级标号的样本可以用来学习目标检测模型，实现“网络监督”的自主学习建模，显著降低训练数据标注的成本。典型的弱监督目标检测框架有三个部分组成：候选框生成、弱监督目标定位和检测器学习。其中，候选框生成是保证目标检测查全率的前提，弱监督目标定位是弱监督学习的核心问题，而检测器学习最终保证目标检测的效果。本研究首先通过实验观察到传统弱监督目标定位学习中两个问题：定位过程具有很强随机性和定位容易受到目标部件（Part）干扰；进而通过理论分析确定了这些实验现象背后的原理在于模型的非凸性。基于实验观察与理论分析，提出了最小熵隐变量模型、渐进示例学习方法和基于图传播的弱监督检测算法，从模型构建、模型优化、方法应用三方面系统研究了弱监督视觉目标建模的科学问题。本项目的主要的贡献总结如下：.1）提出了最小熵隐变量模型。该模型利用最小熵对训练过程中目标定位的随机性进行建模，通过降低目标定位熵，减小了训练过程中目标定位随机性问题，显著提升了模型的定位精度。（本部分内容发表在IEEE CVPR 2018与IEEEE PAMI 2019）.2） 提出了渐进示例学习模型。隐变量模型的非凸性使得传统的弱监督目标检测算法容易陷入局部最优，从而错误的定位到背景或者目标局部。本文将渐进优化的方法引入到多示例学习的框架，创造性地提出了渐进多示例学习方法解决非凸优化的科学难题。（本部分内容发表在IEEE CVPR 2019，Oral）；.3）提出了弱监督X光图像违禁品定位算法框架。针对实际的X光安检场合中，违禁品-反例样本比例失衡问题，提出了弱监督X光图像违禁品类平衡分类算法，结合建模、优化将弱监督问题研究推进到实际应用场景。（本部分内容发表在IEEE CVPR 2019）；.研究表明，通过降低定位随机性、缓解隐变量学习的非凸性能够解决了弱监督学习的本质问题，显著提升弱监督目标检测的性能。本项目涉及的算法框架、渐进优化方法、弱监督目标定位算法开拓了视觉目标检测的新方向，为深度学习框架中的非凸优化问题、不完全标注下的模型估计与样本标注问题提供了新思路。展望未来，本项目的研究成果为目标检测模型的自主进化提供了坚实的理论基础。