面向移动设备的显著物体检测与分割方法研究

Salient object detection aims to locate and segment salient objects or regions in an image, whose results can reduce image redundancy and benefit subsequent vision tasks. Recently, with the quick development of deep learning, profound progresses have been made in this area. However, there still exists the following challenges: (1) performance bottleneck: it mainly lies on the poor performance on complex scenes and the low resolution of the saliency maps; (2) model redundancy: most of the existing deep saliency models are fine-tuned from image classification pre-trained models which contain large redundancy for a pre-processing step; (3) fine-grained segmentation: inaccurate instance-level segmentation. These issues hinder its application in mobile device and subsequent high-level tasks. This project makes the following researches to address them: (1) lightweight salient object detection model: introducing residual feature learning and visual attention mechanism to obtain high resolution saliency map, constructing a deep saliency model by learning from scratch to reduce redundancy; (2) weakly supervised saliency detection: establishing an accurate weak supervision framework based on efficient point label and binary label (with or without salient object); (3) salient instance segmentation: developing a more accurate instance segmentation framework by introducing global context information and multi-scale feature fusion. Our achievements can not only push saliency detection into real-world applications, e.g., mobile device, but also give a valuable reference for other pixel-level tasks, such as semantic segmentation, contour detection.

显著性检测是通过检测图像中的显著性物体或区域，减少图像中的冗余以便利后续应用。近年来，随着深度学习的快速发展，显著性检测取得了较大进展，但仍存在以下问题：1）性能瓶颈：主要体现在面对复杂场景时性能较差，检测结果分辨率较低；2）模型冗余：现有检测模型都是基于预训练模型微调，作为一个预处理步骤存在较大冗余；3）精细分割：实例级分割精度不高。这些问题限制了在移动端以及后续高层任务中的应用。为此，本项目研究：1）轻量级显著物体检测模型：通过残差特征学习和注意力机制提升检测结果的分辨率，实现从零开始训练的检测模型减少模型冗余；2）弱监督显著物体检测：基于高效的眼动点标注和有无显著物体的二值标注，建立一个高性能的弱监督检测框架；3）实例级显著物体分割：通过引入全局上下文信息以及多特征融合，获得更加完整和准确的分割结果。相关研究成果不仅可推动其在移动端的应用，还可为语义分割、轮廓提取等相似应用提供借鉴。

近年来随着深度学习的快速发展，显著性检测取得了较大进展，但仍存在性能瓶颈和模型冗余等诸多挑战，限制了其在移动设备的应用。本项目以此为切入点，深入研究了轻量级显著物体检测，多模态显著性检测，以及阴影检测、伪装物体检测等相关图像分割任务，该项目取得了较好的研究成果，完成的创新工作总结如下：.（1）提出了一种基于反向注意力机制的显著物体检测方法，具体在基于全卷积神经网络的端到端网络结构中引入自顶向下的反向注意力机制，通过不断擦除已经学习得到的特征区域，让网络更好更快地学习其余残差特征。实验结果表明该方法不仅可以得到高分辨率的显著性图，而且网络参数更少，模型也更紧致。.（2）提出了一种嵌入注意力和残差网络的显著物体检测方法。具体通过自上而下的方式学习注意力权重，通过高层语义特征指导浅层物体定位，可以更好地滤除背景特征的干扰。在相加融合中引入一个点乘二阶项来近似残差特征，不仅可以便利梯度传播，还可以增加网络非线性。.（3）提出了一种渐进引导交替修正的RGB-D显著物体检测方法。首先设计一个轻量级的深度分支减少模型冗余，然后通过交替修正模块减少低质量深度图的影响，最后通过渐进引导模块高效融合多尺度卷积特征，缓解特征稀释。实验结果表明该方法在检测准确性和模型大小上都具有较大优势。.（4）提出了边界引导网络模型和先验引导模型，分别在伪装物体检测和阴影检测任务上得到了成功应用，取得了较好的检测结果，推动了相关的应用发展。.上述工作已在国内外学术期刊和会议上发表10篇论文，其中SCI期刊论文6篇（1篇CCF A和1篇CCF B）和1篇CCF B类会议论文；申请发明专利3项，授权1项；培养了6名研究生。