基于多层图分析的时空显著性检测方法研究

As an important issue in visual cognition field, spatio-temporal saliency detection is aimed at detecting salient objects or regions from videos. Since scenes are dynamic and complex in videos, detecting the accurate spatio-temporal saliency is very difficult. Based on the theories of multi-layer graphs, this project will research on some difficult problems inside. The first problem is accurate motion saliency extraction. Considering that human beings’ vision tends to focus on salient moving regions not single pixel in the dynamic scene, the project will calculate the gradient of sparse optical flows and judge foreground moving regions to solve it. The second problem is the continuous and complete spatio-temporal salient regions detection,which will be solved by two steps. Considering that the multi-layer graphs can describe the multimode of the structure between objects in the dataset, the project will research on utilizing multi-layer graphs to model the spatio-temporal domain of a video, to describe the multimode structure between the foreground and the background. Considering that mining the joint information in multi-layer graphs deeply can lead to better understanding for objects relation, the project will research on detecting cross-graph quasi-cliques in the multi-layer graphs, thus digging up the coherent subgraphs inside, and adopting the manifold ranking algorithm based on coherent subgraphs to calculate the spatio-temporal saliency value. Research on the project will introduce a new computational model for spatio-temporal saliency detection, with good scientific significance and application prospect.

作为视觉认知领域的一个重要课题，时空显著性检测旨在从视频中检测出显著的目标或区域。由于场景的动态性和复杂性，检测出准确的时空显著性非常困难。本项目拟在多层图理论基础上，对其中的难题进行深入研究。第一，针对时空显著性检测中的运动显著性提取问题，考虑到人类视觉倾向于关注动态场景中显著的运动区域而非单个像素，拟采用超像素的稀疏光流梯度计算和前景运动区域判断来进行解决。第二，针对连续完整的时空显著区域检测问题，分两步解决：考虑到多层图模型能表示数据集内对象间结构的多模态性，拟对视频时空域进行多层图建模，来描述前景目标和背景之间的多模态结构；考虑到深入挖掘多层图的联合信息能更好理解对象间的关联，拟研究基于多层图的跨图准团检测，挖掘出对应着时空显著区域的连贯子图，并利用基于连贯子图的流形排序算法进行时空显著值计算。本项目的研究将为时空显著性检测问题引入一种新的计算模型，具有良好的科学意义和应用前景。

时空显著性，旨在从动态连续的图像序列中提取出显著的目标或区域, 具有很多重要的应用，如视频压缩、目标检测和跟踪、自主认知机器人等。本项目在多层图理论基础上，研究了显著性检测及相关应用问题。具体如下：1）围绕多层图模型构建，研究了针对视觉显著性检测的图模型，提出一系列基于图的学习模型和排序算法，具体包括基于协同图学习模型的RGB-T显著性检测、基于图学习的多模态多尺度噪声不敏感排序、基于先验规则化的多层图排序模型、基于递增图排序的显著性检测、基于局部和全局一致性排序模型的显著性检测等；2）围绕时域显著区域表示与挖掘，重点研究基于时空特征挖掘的目标特征描述，并在面向现实应用监控环境的运动目标跟踪上取得了良好的效果，具体包括基于图卷积表示的视觉目标跟踪、基于最小障碍距离加权的目标描述子、基于对抗正样本生成的目标跟踪、基于多任务的拉普拉斯稀疏表示的多模态目标跟踪等；3）围绕多层图的跨图准团挖掘，展开了多种相关图模型的研究及应用，具体包括基于信息熵的混合再生图核的分类算法、基于空间规则化图学习方法的目标表示等；4）主要围绕卷积神经网络，重点研究视觉显著性检测、多模态数据的分析和应用，包括基于边缘引导的非局部全卷积网络的显著目标检测、基于度量学习的跨模态视听匹配等。. 在项目运作期间，发表学术论文20篇，包括CCF排名B类第一作者期刊论文2篇、CCF排名A类会议2篇，SCI检索论文9篇，EI检索论文8篇。参加国内外重要学术会议和研讨会9次；组织学术研讨会4次；作为硕士研究生导师招收研究生12名；辅助培养博士研究生1名、访问学者1名。构建了二个多模态显著性检测基准数据集并对外公开，推动视觉显著性分析研究的多样发展。