深度学习在显著性目标检测中的方法研究

Image saliency detection is one of the hot topics in the field of computer vision. Its main task is to find salient object regions in images. The bottom-up approaches use prior information of the foreground and background to detect salient objects. But this usually causes incorrect detecting results in images with complex background which is hard to be consistent with the priori assumptions. The top-down methods are active due to the rise of the depth learning theory. These methods can detect salient object regions in complicated natural images. However, the semantic-level features extracted by deep networks can not characterize accurate contour information of salient objects. When the features extracted by depth network internal layers are used as the semantic features of objects, the ability to distinguish between different objects have not fully learned and excavated. It is still necessary to research on the method for pixel-level salient object detection based on the image-level label by using the deep learning theory, and so on. Therefore, we aim to study on the methods for salient objects detection based on deep convolutional network with ensemble learning, and research on salient object detecting algorithms based on the semantic and the spatial information considering the complementarity between them. Meanwhile, we will analyze the features of each internal layer of the deep networks, deep uncertainty features, and their applications for salient object detection, and research on salient object detecting algorithms based on weak supervisor learning with image-level labels to improve detection performance.

图像显著性目标检测是计算机视觉领域热门研究课题之一，其核心任务就是找出图像中最显著的目标区域。自底向上的方法通常借助目标与背景先验，但会因为复杂的图像场景违背先验假设，造成错误的检测结果。自顶向下的方法在深度学习理论激发下研究活跃。虽然基于深度学习的方法能够检测较为复杂场景的显著目标，但是其提取的语义级特征在表征目标边缘轮廓时不够准确；深度网络内部各层特征在描述目标语义级特征时的区分能力还没有得到充分研究挖掘；利用深度学习理论开展基于图像级类别标签进行像素级显著目标检测的方法还有待进一步研究等等。鉴于此，我们拟研究集成学习的深度卷积网络应用于显著目标检测的方法，从目标的语义信息与空间信息互补角度研究基于语义与空间注意机制的显著目标检测方法，深入研究深度网络各层特征、深度不确定性特征在显著性目标检测中的应用，以及利用图像级类别标签研究基于弱监督学习方法的显著性目标检测，以提高检测性能。

随着信息技术的飞速发展，计算机视觉技术已经在众多领域得到广泛应用。图像显著性目标检测是目前计算机视觉领域热门研究课题之一，其是在海量图像数据中快速抓住显著性信息以便于图像的快速后续处理的预处理技术。尽管众多学者已经进行了大量的研究工作，但该课题的进一步深入研究仍然是计算机视觉领域的研究热点之一。本项目在课题研究过程中基于深度学习理论从特征分析、特征融合、深度网络架构、弱监督学习等多方面系统地研究了显著性目标检测、图像模糊检测，以及视频目标跟踪等方面的问题，提出了多线索信息弱监督学习模型（TPAMI2021）、无损特征反射和结构化损失函数模型（TIP2018）、超密集反射特征融合模型（PR2019）、深度嵌入特征模型（AAAI2019）、边缘感知模型（SP LETTERS）等的显著性目标检测模型；提出了多流底部-顶部-底部网络模型（TPAMI2020）、交叉集成网络模型（CVPR2019）等图像模糊检测模型；提出了自适应空间正则相关滤波模型（CVPR2019）、元更新器模型（CVPR2020）等视频目标跟踪模型。在项目资助下，本课题组共发表论文22篇，SCI-E他引共407次，在国际期刊发表论文10篇，SCI-E检索9篇，顶级国际会议CVPR /ECCV发表论文8篇，并两次在国际VOT视觉目标跟踪长项挑战赛中获得了冠军，申请发明专利4项，其中已授权专利2项，在申请专利2项。