基于时空深度表征的无监督视频显著性检测研究

Recently, with the deployment of machine learning, especially the deep learning technique, the performance of video saliency model has been elevated significantly. However, these models are faced with two problems, namely the inadequate representation of spatiotemporal information and the lack of training data. Thus, when dealing with such videos which are with some complex scenes including fast motion, cluttered background, non-rigid deformation and so on, the performance of these models degrades significantly. Therefore, this project proposes three novel solutions to elevate the performance of video saliency detection models. Firstly, we propose a multilevel multiplexing of the spatiotemporal information based deep representation video saliency detection model, which extracts and utilizes the temporal information and the spatial information comprehensively in the steps of feature aggregation, saliency prediction and saliency fusion. Then, we propose a strong spatiotemporal relevancy based deep representation video saliency detection model, which introduces and enhances the interframe constraints of video sequence, yielding the deep features with strong spatiotemporal relevancy. Lastly, we propose an unsupervised generic video saliency detection framework, which first generates the pseudo label via the propagation of similar images and the fusion of multiple saliency maps, and then promotes the performance of the model iteratively using the self-paced algorithm. The expected research results will effectively promote the in-depth development of research on video saliency detection models and the related saliency-based applications.

近年来，随着机器学习等技术的应用，特别是深度学习技术，视频显著性检测模型的性能得到极大的提升，但这些模型存在两方面问题，即时空信息表征不充分和训练数据缺乏。因此，在包含诸如快速运动、背景杂乱、非刚性形变等复杂场景的视频数据上，这些模型的性能下降较为严重。为此，本项目针对上述两方面问题，提出三条新思路来有效提升视频显著性检测性能：1）构建基于时空信息多级复用的深度表征视频显著性检测模型，实现时域信息和空域信息在特征集成、显著性预测和显著性融合中的充分提取与利用；2）构建基于强时空关联的深度表征视频显著性检测模型，通过引入并强化视频序列中的帧间约束关系，得到具有强时空关联性的深度特征；3）构建无监督视频显著性检测通用框架，通过相似图像传播和多显著性图融合获取伪标签训练数据，进而利用自步学习算法，来迭代地提升模型性能。预期研究成果可以有效地推动视频显著性检测模型研究及其相关应用研究的深入发展。

近年来视频显著性检测已成为计算机视觉领域的一个热点研究方向，其是联合时域信息和空域信息，定位、凸显视频序列中的运动的显著性物体。目前，视频显著性检测已被广泛应用到诸如视频分割、视频编辑、视频编码、自动驾驶等领域。因此，可以说视频显著性检测研究是一个前沿、热点问题。为此，研究人员提出了众多的视频显著性检测模型，这些模型在一些包含简单场景的视频数据集上取得了不错的性能表现，但在包含有大量复杂场景（如快速运动、背景杂乱、非刚性形变、摄像机运动、运动模糊等）的视频数据集上，现有的视频显著性检测模型性能下降较为严重。为此，本课题组聚焦时空信息表征不充分和数据短缺问题，提出了基于时空集成网络的视频显著性检测模型、基于质量驱动的双分支特征集成网络的视频显著性检测模型和基于对抗学习的视觉显著型检测模型，有效提升了对复杂视频的显著性检测性能，从而推动了视频显著性检测模型研究及其相关应用的深入发展。同时，本课题组还针对光学遥感图像显著目标检测任务、表面缺陷检测任务、多模态场景如RGBD图像的视觉显著目标检测任务、光场图像显著目标检测任务、多幅图像协同显著目标检测与分割任务，构建了相应的模型算法。这些研究不仅对视频显著性检测研究有极强的借鉴意义，还有效推动了视觉显著性检测领域的发展。