基于深度多示例检测的弱监督图像目标定位研究

Weakly supervised object localization is one of the most active research areas in computer vision community, with a lot of open problems to be addressed. One of them is to generate irregular-shape localization, which is significant to the theoretical research and practical applications. Constructing multiple-instance bag data with unsupervised over-segmentation techniques, this project aims to solve the task using the idea of multiple-instance detection. To this end, we need to explore and obtain solutions on problems of instance annotation in weakly-labelled data, smoothness constraint formulization and optimization, and feature extraction for irregular-shape image region based on deep learning. The expected contributions of this project are three-fold: 1) exploring the methods of learning probability distribution model from instances with ambiguous labels, and incorporating the model estimation and instance-label prediction into a single optimization formulation; 2) proposing the mathematical expression and solution for the smoothness constraint based on the fact that an object must be continuous during detection; 3) employing the activations of multiple inner convolutional layers to extract feature for irregular-shape image region, consequently incorporating deep learning into multiple-instance based weakly supervised object localization.

弱监督图像目标定位是当前计算机视觉领域的研究热点之一，并且仍有许多开放性问题等待解决，其中产生任意形状的不规则形式的定位具有较高的研究意义及应用价值。采用无监督的过分割技术构建多示例包数据，本项目拟采用多示例检测的思路解决该任务，为此要在弱标记数据中的示例标注、示例平滑性约束表示与求解以及基于深度学习的不规则形状图像区域特征提取三个问题寻求突破并给出解决方案。本项目预期取得的创新成果有以下三方面：1）提出基于学习的弱标记示例的概率分布建模方法，将分布模型的参数估计与示例的标签预测融合到一个优化目标函数中；2）提出平滑性约束的数学表示形式和求解方法，并嵌入多示例检测的目标函数中，以便在目标定位时遵循单个目标必须为连续性区域这一事实；3）提出利用卷积神经网络中多个卷积层的信息表示不规则图像区域特征的方法，将深度学习融入基于多示例检测思路的弱监督图像目标定位框架中。

图像目标定位是计算机视觉领域的基础研究内容之一，具有非常广泛的应用范围和较大的应用价值。尽管近年来的机器学习与物体检测技术已经取得了巨大的进展，但是仍然存在以下两个问题：1）物体检测器的模型训练需要大量的标注数据；2）物体定位的结果多为框形，对于非框形物体定位不够精确。..本项目采用了图像区域组合的思路，将弱监督的不规则形式物体检测任务形式化为一个多示例检测问题。主要研究内容有1）图像区域的多示例特征表示及形式化问题；2）图像区域的多示例学习目标函数构建及隐变量优化；3）图像物体的连续性约束表示及求解问题； 4）深度卷积神经网络特征在图像区域多示例表示中的应用。..本项目取得的重要研究结果及数据有：1）提出了一种图像区域的多示例特征表示方法，使得区域的组合优化转变为可求解的L1范数约束的优化问题；2）提出了一个基于多示例学习的弱监督目标定位框架，在该框架下给出了多个机器学习模型的目标函数及求解方法，包括最小二乘、线性判别分析、罗吉斯特回归和支持向量机等；3）提出了一种拉普拉斯平滑的正则项，该正则项填补了普通多示例学习中缺失的示例空间平滑性考量，能够保证目标定位过程中遵守物体空间连续的事实，进一步提高目标定位的平均精度（mAP）约5%。4）利用卷积神经网络中多个卷积层的信息进行图像区域的多示例特征描述，大大提高了物体定位的精度。..本项目研究成果的科学意义。对机器学习理论的意义：将多个经典的机器学习模型扩展至多示例场景，从而能够完成弱监督学习任务。对于图像物体定位领域的意义有两方面：在模型的训练过程中，只需要对图像进行二项选择式地标注，而不需要标出物体的区域，大大减少了标注的工作量；能够给出不规则形式的任意形状的物体定位，提高了定位的精度。