无约束场景中实例级显著目标检测与分割算法研究

Due to the wide applications of salient object detection in various fields, it has become a hot research topic in computer vision. By analyzing the limitations of the existing methods, in this study, we intend to research on instance-wise detection of salient object in unconstrained images. There are three levels in our study, namely, the object existence prediction at image-level, the salient region detection at pixel-level, and the salient objects segmentation at instance-level. At the first level, the existence of the salient object is predicted, eliminating the assumptions in existing salient object detection methods that one or more salient objects must exist. At the second level, salient region detection is performed only on the images that salient object exists, and deep semantic and low-level features are made full use of to preserve the boundary of salient object. At the third level, instance-wise salient object segmentation is performed based on the salient region and the object proposal algorithm. The research of this project will not only provide inspirations for salient object detection and segmentation algorithms, but also promote other object based tasks in computer vision. Therefore, it has important theoretical and practical values.

由于显著目标检测在各领域的广泛应用，已成为计算机视觉领域的研究热点。通过分析现有显著目标检测方法的局限性，本项目拟对无约束图像中实例级显著目标检测展开研究。本研究共包括三个层次问题，即图像级目标存在性预测、像素级显著区域定位以及实例级显著目标分割。在第一层次中，对场景中的目标存在性进行预测，消除了现有算法关于“图像中必存在一个或多个显著目标”的前提假设。第二层次针对存在显著目标的图像进行显著区域检测。在此充分利用深度语义特征和底层图像特征，实现边界清晰的显著区域定位。在第三层次中，根据显著区域定位的结果，并借助似物性采样算法，实现实例级显著目标的分割。本项目的研究不仅会对显著目标检测算法提供借鉴，还将对其它基于目标的计算机视觉处理任务起到推动作用。因此，本项目具有重要的理论意义及应用价值。

显著目标检测能够从场景中检测出人类感兴趣区域，作为其他计算机视觉任务的预处理步骤，具有重要理论研究意义与现实应用需求。.本项目对无约束图像中显著目标检测及实例级分割任务展开研究。通过深度网络的设计，使得显著目标检测问题不再局限于“场景中必存在一个或多个显著目标”的假设，将显著目标存在性预测问题与显著目标检测问题进行了统一描述。在进行显著目标检测过程中，充分利用深度语义特征和底层图像特征，实现边界清晰的显著目标定位。显著区域定位是本研究的核心内容，也是后续实例级分割的基础。鉴于深度特征的高表示能力以及先验知识在显著目标检测中的重要性，本项目研究了结合深度特征和底层先验的显著区域检测算法。随着全卷积神经网络（Fully Convolutional Networks，FCN）的迅速发展及其在图像处理中的优越表现，本项目组开展了基于FCN的显著性检测的一系列研究，通过上下文特征融合网络、多尺度特征网络以及视觉注意机制的引入，设计出了一系列高性能的显著目标检测模型。在显著实例分割任务中，利用似物性采样算法获得候选目标的矩形框标识后，采用聚类算法对候选目标进行过滤。最后结合精准的显著度图，实现精确的实例级显著目标分割。.项目组提出了一系列有效的模型与方法，发表高质量学术论文17篇，出版学术专著2部，培养硕士研究生5人。达到了预期的研究目标，取得了预期的研究成果。本项目的研究可为其他计算机视觉领域的研究提供理论基础和技术借鉴。目前，项目组已将本项目的相关方法和技术初步应用于异常事件检测、视频/图像的安全性保护等方面。