面向无约束视频的时空显著性模型及其应用研究

Spatiotemporal saliency model is becoming an international cutting-edge research topic in the recent years. However, the common drawback of the current spatiotemporal saliency models is their insufficiency for processing unconstrained videos. The complexity of spatial and temporal features in unconstrained videos results in a significant degradation on saliency detection performance of the current models. In order to overcome the drawback of current models, this project proposes a spatiotemporal saliency model based on region-level temporal and spatial features. First, region-level motion trajectory descriptors and intra-frame/inter-frame regional similarity matrices are extracted to enhance the discrimination between object regions and background regions, in terms of region-level features. Then, region-level temporal/spatial saliency measure, inter-frame saliency propagation and adjustment, confidence based saliency fusion, and intra-frame saliency diffusion are systematically proposed to generate region-level and pixel-level spatiotemporal saliency maps, in order to effectively improve the saliency detection performance on unconstrained videos. Finally, this project proposes spatiotemporal salient object detection and segmentation approaches suitable for unconstrained videos, specifically, saliency of window's trajectory, joint optimization of region-level object segmentation and saliency boosting, and pixel-level local refinement, are exploited to improve the performance of object detection and segmentation, and to validate the effectiveness of the proposed spatiotemporal saliency model. The expected research results will not only enrich and promote the development of research on saliency model, but also advance the saliency-based video processing technology.

近年来用于视频的时空显著性模型已逐渐成为国际前沿的研究热点，但目前各类模型的普遍缺陷是难以有效处理无约束视频，其时空域特征的复杂性会导致现有模型的显著性检测性能严重下降。为有效克服现有模型的缺陷，本项目提出基于区域级时空域特征的时空显著性模型。首先，提取区域运动轨迹描述符及帧内/帧间区域相似性矩阵等时空域特征，以增强对象区域和背景区域的可区分度。然后，系统地提出区域级时域/空域显著性度量、显著性帧间传播与调整、基于置信度的显著性融合及显著性帧内扩散等方法来生成区域级及象素级时空显著性图，以有效提升对无约束视频的显著性检测性能。最后，提出适于无约束视频的时空显著对象检测与分割方法，利用窗口轨迹显著性、区域级对象分割与显著性修正的联合优化及象素级局部修正，来提升检测与分割性能并充分验证所提出模型的有效性。预期研究成果不仅将丰富并发展显著性模型的研究，而且将推动基于显著性的视频处理技术的发展。

在不受限制的拍摄条件下生成的无约束视频给显著性检测带来了巨大的挑战，其时空域特征的复杂性使得传统的时空显著性模型难以对其有效处理，造成显著性检测性能严重下降。为了有效克服已有模型的缺陷，本项目组提出了一系列适用于无约束视频的时空显著性模型，主要包括基于超象素级轨迹的时空显著性模型、基于超象素级图与时空域传播的时空显著性模型、以及基于集成式预测与时空域传播的时空显著性模型，这些模型不断提升了对无约束视频的显著性检测性能。为了更全面地评估时空显著性模型的性能，本项目组建立了一个包含18个无约束视频的数据集UVSD，并提供了公开下载供国内外同行们使用和测试。为了提高显著性检测性能，本项目组还基于任一模型生成的显著性图，提出了结合多核集成学习框架与自适应融合策略的显著性检测性能提升方法，以及基于多个模型生成的显著性图，提出了基于显著性图质量评价的自适应融合方法，以生成更高质量的显著性图。.在上述研究基础上，为了有效地检测和分割出复杂场景的无约束视频中具有复杂运动的时空显著对象，本项目组提出了结合显著性图与似物度图的时空显著对象检测方法、基于类不均衡补偿框架的背景相减法、基于显著性和似物度融合的显著对象分割方法、基于有向图的视频协同对象分割方法、以及基于简单图像引导的协同对象分割方法等一系列检测和分割方法，有效提升了显著对象检测和分割的性能。此外，本项目组还主要针对近年来应用日渐广泛的RGBD图像，提出了一种基于多尺度判别性显著性融合的深度感知显著性模型以及基于多核增强和自助法的显著对象分割方法；研究构建了适用于从幼儿到成人不同年龄段的扫视模型，用来预测在自由观看状态下观看者的注视模式和观看倾向。.本项目的研究成果对于推动显著性模型研究及基于显著性的视频处理等应用的发展具有重要意义。截止2018年底，已发表SCI/EI检索的论文33篇，其中，已被SCI检索的国际学术期刊论文18篇（含本领域国际顶级期刊IEEE Trans. IP/CSVT/MM论文5篇），已总计被SCI引用117次；申请发明专利9项（其中2项已授权）；申请软件著作权登记2项；培养研究生10名，其中8名已毕业，4名获得研究生国家奖学金；并延伸1项技术服务项目。