基于自然图像中深度形状特征提取的一般物体检测研究

Detecting object proposals in natural images is a fundamental problem in Computer Vision. This project researches deep shape feature extraction in natural images and object detection based on shape features. The research contents include: the research on deep structure learning based object contour detection, in which we focus on designing a differentiable structured classifier to be jointly optimized with deep networks; the research on deep multi-stage learning based multi-scale skeleton detection, in which we mainly address the unknown scale problem in skeleton extraction; the research on deep fully-convolutional network based object proposal window extraction, in which we address the problem that how to regress the locations of object proposals efficiently; the research on shape feature based object proposal refinement, in which we address the problem of contour and skeleton matching and objectness scoring. Some other problems related to this project (e.g., pedestrian detection, vehicle detection, and etc.) are also our research interests.

自然图像中的一般物体检测是计算机视觉领域的一个基础性的问题。本项目研究自然图像中深度形状特征提取和基于形状特征的一般物体检测。研究内容包括：研究基于深度结构学习的物体轮廓检测，致力于设计一种可求导的结构分类器，以便可以和深度网络一起级联优化；研究基于多层次深度网络的多尺度骨架检测，主要解决骨架提取中骨架尺度未知的问题；研究基于深度全卷积网络的物体候选窗口提取，主要解决如何快速有效地回归得到物体候选窗口的位置；研究基于形状特征的物体候选窗口求精，主要解决轮如何匹配廓和骨架以及如何基于匹配的轮廓和骨架对物体候选窗口打分的问题。最后，以本项目方法模型和理论算法为基础，研究其他相关应用问题，如行人检测和车辆检测等。

自然图像中一般物体检测是计算机视觉领域的一个基础问题。当前的一般物体检测方法主要依赖表象特征，对于形状特征有所忽略。这限制了当前检测模型的表征能力。在这个项目中，我们研究如何从自然图像中基于深度学习提取物体形状特征以及如何基于形状特征识别物体。我们的研究工作包括：基于全卷积神经网络的自然图像中物体骨架提取和显微镜图像中神经细胞边界检测、融合形状特征的自然图像中物体检测、基于尺度预测的自然图像中一般物体检测、基于边缘特征的自然图像中一般物体检测、基于形状特征的物体识别、基于生成模型的异常物体分割、基于弱监督学习的物体检测、基于深度随机森林的物体识别算法、通用深度物体识别算法以及形状特征在医学图像分割中的应用。在本项目的研究过程中所提出的方法，在多个上述任务的标准数据集上取得了令人满意的结果：在SK-LARGE数据集上取得0.649的骨架检测F-measure；在ISBI 2012 EM分割竞赛数据集上取得0.9866的神经细胞边界检测F-measure；在PASCAL VOC和MS COCO上分别取得81.7 mAP和32.8 mAP的物体检测精度；在VOC 2007 上取得了48.8 mAP 和 66.6 CorLoc的弱监督下物体检测精度；在Morph II数据集和FG-NET数据集上分别取得2.14 MAE和3.47 MAE的年龄估计误差；在ImageNet数据集上，对监督图像分类取得20.59 top-1错误和5.52 top-5错误；对半监督图像分类取得46.50 top-1错误和22.73 top-5错误，对小样本学习图像分类取得59.60 top-1和73.74 top-5准确度；在NIH胰腺数据集上取得64.4% Dice系数的胰腺分割结果；在JHMI PDAC数据集上取得64.4% Dice系数的PDAC分割结果。这些结果无一不是当时最好的结果（发表当时），这说明了基于形状的物体表示与识别方法是计算机视觉领域中的一个非常有前景的研究方向。在该方向上的突破可推动整个领域的快速发展。