结合时空Retinex感知的监控视频联合增强与超分辨率重建方法

Video surveillance system plays an important role in safeguarding state security and public order, and guaranteeing the safety and property of citizens. However, surveillance video always suffer from non-uniform illumination, low light and low resolution due to the limitations in imaging device and bad surveillance environment, and therefore video surveillance system supervision cannot work well in monitoring and protecting public security. In this project, we study the non-uniform illumination, low light and low resolution surveillance video joint enhancement and super-resolution problem. By jointly exploiting the perceptual character of human vision system and the temporal-spatial information in surveillance video, we propose a perceptually inspired temporal-spatial Retinex method, and then construct a public visual feature space. In this space, a surveillance video joint enhancement and super-resolution model is constructed by joint learning high and low resolution dictionaries, and an efficient algorithm is designed. This project will enrich video and image enhancement and super-resolution theory and algorithm, and have important implications for object detection, tracking, and recognition in surveillance video. Meanwhile, the methods and techniques proposed in this project can be widely used in many fields, such as public security, production management of enterprises, and so on.

视频监控系统在保障国家、社会安全和公民的财产和人身安全方面发挥了重要作用，然而受成像设备和监控环境限制，监控视频有光照不均匀、分辨率和亮度较低等缺点，严重影响视频监控系统的监察看管作用，不利于公共安全保障。本项目以光照不均匀低亮度低分辨率监控视频联合增强和超分辨率重建为具体科学问题，联合利用人类视觉感知特性和监控视频中的时间空间信息，研究视觉感知特性启发的时空Retinex方法，进而学习公共视觉特征空间，并在该空间中通过高低分辨率字典联合学习建立监控视频联合增强与超分辨率重建模型，设计高效求解算法。本项目将进一步丰富视频、图像增强和超分辨率重建理论与算法，对于推动监控视频中目标检测、追踪、识别等后续研究具有重要意义，同时本项目所提供的方法和技术在社会公共安全、企业生产管理等诸多领域具有广阔的应用前景。

视频监控系统在保障公共安全方面发挥了重要作用，然而受成像设备和环境限制，获取的视频往往具有光照不均匀、分辨率和亮度较低等缺点。本项目联合利用了人类视觉感知特性和监控视频中的时间空间信息，紧紧围绕着人类视觉感知特性和视觉特征，特别是Retinex理论方法、照度特征、结构特征与时空性相结合等问题，研究了光照不均匀低亮度视频/图像和光照均匀正常亮度视频/图像之间的相关性，以及高低分辨率视频/图像之间相关性。完成了视觉感知特性启发的时空Retinex方法、视觉特征空间学习，以及超分辨率重建中视觉特征表示的研究。项目主要成果包括：提出了一种亮度自适应的联合时空信息的时空全变差Retinex方法，基于双树复小波变换的Retinex方法和利用时空照度图的低照度彩色视频增强方法，提高了低质视频图像质量。提出一种利用照度图的深度卷积神经网，增强了图像亮度。提出一个联合贝叶斯学习的卷积稀疏编码方法和一种利用自适应重尾先验的非参数盲超分辨率重建方法，提高了低质图像超分辨重建质量。开展了有利于视频和图像增强与超分辨率重建的一系列研究，包括提出了一个耦合归一化稀疏度量与广义全变差的图像正则化模型和一个基于自适应广义全变差的变分正则化模型，能够在图像复原时有效保持图像结构特征；提出一系列基于Wasserstein生成对抗网的人脸、行人超分辨率重建、复原和去雾增强方法，提高视频/图像质量。本项目研究丰富了视频和图像增强与超分辨率重建理论与方法，对于推动视频和图像中目标检测、追踪、识别等后续研究具有重要意义。