面向复杂图像与视频的高性能显著性检测研究

Recent years have witnessed the continuous development of research on saliency detection models. However, the test results on multiple image/video datasets show that the performances of the existing state-of-the-art saliency detection models significantly degrade on complicated images and complicated videos. This project will investigate three novel solutions to effectively elevate saliency detection performance. First, the deep convolutional networks are systematically constructed to realize the effective integration of region-level saliency measurement and pixel-level saliency fusion, and high-level semantic features and low-level visual features are sufficiently extracted in a multi-context multi-scale way, so as to effectively elevate saliency detection performance on complicated images. Then, the deep convolutional network based quality assessment model for saliency maps, the similar image selection method with the quality factor of saliency map, and the manifold ranking based inter-image saliency propagation method are systematically proposed to improve the quality of saliency map of the original image via the aid of similar images. Finally, the fully convolutional network based pixel-level saliency prediction method and the localized regression based region-level saliency estimation method are proposed to realize the scheme from generic to specific saliency detection, which can effectively adapt to a variety of complicated videos and fully exploit the inter-frame correlations among the frames of the test video, so as to effectively improve saliency detection performance on complicated videos. The expected research results will effectively promote the in-depth development of research on saliency detection models and facilitate the performance elevation of the related saliency-based applications.

近年来显著性检测模型的研究取得了持续进展，但在多个图像/视频数据集上的测试结果表明，对复杂图像和复杂视频，已有的各种模型的显著性检测性能严重下降。本项目将研究从三条新思路来有效提升显著性检测性能。1）系统地构建深度卷积网络来实现区域级显著性度量与象素级显著性融合的有机结合，并能充分提取多邻域多尺度的高层语义特征和低层视觉特征，以有效提升对复杂图像的显著性检测性能。2）系统地提出基于深度卷积网络的显著性图质量评估模型、结合显著性图质量的相似图像筛选方法及基于流形排序的图像间显著性传播方法，利用相似图像来有效增强原始图像的显著性图质量。3）提出基于全卷积网络的象素级显著性预测方法及基于局域化回归的区域级显著性估计方法，实现从通用到特定的显著性检测，以有效适应各类复杂视频并充分利用测试视频的帧间相关性来提升显著性检测性能。预期成果可有效推动显著性检测模型研究的深入发展及其相关应用的性能提升。

复杂图像（如低对比度、杂乱背景、对象极大或极小等）和复杂视频（如快速运动、对象形变及尺度变化、运动模糊等）导致各类显著性检测模型的性能严重下降。为了有效应对这一挑战，本项目组提出了面向RGB图像的基于多层级特征整合与多尺度特征融合的深度卷积网络、以及基于生成对抗网络的显著性检测模型；提出了面向RGB-D图像的深度感知卷积神经网络、信息转换网络、跨模态跨尺度加权网络、以及分层交替交互网络等一系列显著性检测模型；提出了面向全景图像的特征自适应卷积神经网络；提出了基于局域估计与时空域细化的视频显著性检测性能提升模型、以及基于深度卷积网络的视频显著性检测模型。这些模型不断提升了对复杂图像和复杂视频的显著性检测性能。.显著性检测可以利用多张图像的信息，借助图像检索，提出了基于相似图像驱动的显著性融合模型来增强显著性图质量；针对一组有共同显著对象的图像，提出了基于卷积神经网络与图像间传播、基于协同特征提取和从高到低特征融合、以及基于无监督聚类和多核增强的多种协同显著性检测模型。利用任一用户的注视点数据可以表明对其具有视觉显著性的对象，为此提出了基于深层神经网络、以及基于对象定位与边界保持的注视对象分割方法；任一用户也可以用一句话来表明图像和视频中对其而言具有显著性的感兴趣对象，为此提出了基于跨模态自注意力模型的对象分割方法。这些方法能分割出具有个性化显著性的不同对象。此外，本项目组还开展了结合显著性的图像增强、自闭症诊断、实例分割等研究工作。.本项目的研究成果对于推动显著性检测模型的研究及相关应用的发展具有重要意义。截止2022年2月，已发表SCI检索的国际学术期刊论文34篇，国内外学术会议论文16篇，其中，包括9篇国际顶级期刊和会议（IEEE TPAMI/TIP/TMM及CVPR/ECCV）论文，已总计被SCI引用314次；申请发明专利5项；培养研究生14名，其中，9名已毕业，4名获得研究生国家奖学金（1名还获得校长奖学金和宝钢优秀学生奖）；并延伸1项技术开发项目。