面向夜间视频的视觉显著性模型研究

Human visual attention based saliency model is an effective way for the active perception of important information in image and video, and can play an important role for exploring large-scale perceptual information organization in the early stage of visual cognitive process. This project focuses on the problem of low signal-to-noise ratio and the limitation of hand-crafted features in nighttime video, exploring effective visual saliency model for nighttime video to make a breakthrough in the key techniques of feature representation, feature learning and feature fusion. The major research content contains the following components. First, incorporating motion feature contrast in temporal domain and low-level feature contrasts in spatial domain, the representation of spatio-temporal salient feature will be studied for nighttime video. Second, incorporating hierarchical salient feature in nighttime video, salient feature learning theory will be investigated when combined with the incremental visual perception scheme. Third, incorporating density based cluster analysis, the measurement of feature adaptation will be explored, which aims at developing a video salient feature fusion framework using the visual organization principles. This project covers the state-of-the-art techniques including video analysis, visual attention, feature learning, and etc. And it can reveal the impact of low lighting conditions on video salient feature. The anticipated outcome of this project can further serve as theory and technique foundation for applications such as nighttime vision surveillance, synthetic aperture radar image processing, and etc.

基于人类视觉注意机制的显著性模型作为能主动感知视频图像中重要信息的有效方法，对探索视觉早期认知过程的大范围知觉信息组织具有重要意义。本课题旨在针对夜间视频的低信噪比特性以及人工设计特征的表达局限性，探索面向夜间视频的视觉显著性模型，突破夜间视频的显著性特征表示、学习和融合的关键技术。主要研究内容包括：1）分别测度时间域运动特征对比度和空间域低层特征对比度，研究夜间视频的时空显著性特征表示方法；2）利用夜间视频的分层显著性特征，研究基于增量视觉感知的显著性特征学习理论；3）利用基于密度的聚类分析，结合视觉组织原则，探讨特征适应性的测度方法，研究视频显著性特征融合框架。本项目综合运用视频分析技术、视觉注意机制、特征学习方法等方面的前沿技术理论，揭示低照度场景对视频显著性特征的影响，为夜间安防监控、合成孔径雷达图像处理等应用提供理论和技术基础。

基于人类视觉注意机制的显著性模型作为能主动感知视频图像中重要信息的有效方法，对探索视觉早期认知过程的大范围知觉信息组织具有重要意义。本项目针对目前国内外已有的显著目标检测模型大多是针对于可见光场景，但在夜间场景中性能不佳的问题。本项目研究了现有技术和方法在夜间场景中存在的困难，结合人眼视觉注意机制提出了针对夜间场景的视觉显著目标检测模型，并构建了夜间图像数据集用于验证本研究所提出算法的有效性。项目主要研究工作包括：（1）针对夜间图像在单一空间下所生成的显著图不完整的问题，从像素级层面出发，提出了一种基于离散平稳小波变换融合频域空域信息的显著目标检测算法。（2）针对夜间场景下提取的特征判别性能差异大的问题，从特征级层面出发，以手工特征为基础提出了一种基于超像素协方差融合最优特征的局部全局显著目标检测算法。（3）针对夜间图像中视觉信息单一导致训练样本特征不均衡的问题，从特征级层面出发，在手工特征的基础上引入深度特征，提出了一种基于区域协方差引导卷积神经网络的显著目标检测算法。（4）针对夜间场景下深度模型无法有效保留夜间目标的结构信息和边界信息的问题，从决策级层面出发，以深度特征学习为基础，提出了一种基于全局卷积和边界细化引导深度卷积神经网络的显著目标检测算法。本项目综合运用视频分析技术、视觉注意机制、特征学习方法等方面的前沿技术理论，揭示低照度场景对视频显著性特征的影响。研究成果发表在软件学报，Pattern Recognition Letters，Journal of Real-Time Image Processing，Journal of Visual Communication and Image Representation，Neural Computing & Applications，Journal of Shanghai Jiaotong University (Science)，CVPR 2019 workshop，ECCV 2018 workshop，ICIP 2019，ICPR 2018，PCM 2018，ICONIP 2017等国内外重要期刊或会议上。