图像和视频去模糊深度学习模型及算法研究

With increasing popularity of convenient digital imaging equipments, the digital images have plays an important role in daily life, intelligent security, autonomous driving and so on. However, the camera shake, object motion and imaging environment usually lead to the images with significant blur. How to recover high-quality clear images from blurred images is very challenging in theory but significantly important in real applications. This project will focus on the big data driven image and video deblurring problem by using robust fitting function approximation approach, discriminative learning, and deep learning methods, etc. The main content of this project contains following aspects. (1) It will propose an effective image degradation model that can model the degradation process well and corresponding deblurring algorithm for the images in the complex imaging environment; (2) It will analyze the effect of the high-level semantic information in out-of-focus blur detection and image deblurring and propose an image deblurring algorithm based on high-level semantic information learning; (3) It will theoretically analyze the properties of the non-uniform blur, explore the intrinsic relations between the non-uniform blur and deep neural networks, and develop domain knowledge-based and data driven-based dynamic scene image and video deblurring models and algorithms to recover clear images and videos. This research will provide a new way to solve image deblurring problems. The proposed algorithms can be applied to image processing, intelligent security and so on.

随着相机等数码成像设备的普及，数字图像在日常生活、智能安防、无人驾驶等相关领域起到了重要作用。而相机抖动、物体运动、拍摄环境等因素往往导致图像中含有大量的模糊。如何从模糊图像中恢复出高质量的清晰图像是一个在理论上极具挑战性并在实际应用中具有重大意义的问题。本项目拟采用鲁棒函数拟合、判别学习、深度学习等方法开展大数据驱动下的图像和视频去模糊研究。研究内容包括：（1）提出有效的刻画复杂条件下图像模糊的成像模型及去模糊算法；（2）研究高层语义信息在散焦模糊检测和图像去模糊中的作用，提出基于高层语义特征学习的图像去模糊算法；（3）在理论上分析动态场景下非一致模糊的性质及其与深度神经网络的内在联系，构建知识驱动和数据驱动下的动态场景图像和视频去模糊模型和算法。本项目为解决图像和视频去模糊问题提供新的研究模型和算法。研究成果在日常图像处理、智能安防等相关领域具有良好的应用价值和广泛的应用前景。

近年来，随着便携、轻巧的数码成像设备的日益普及，人们获取图像的手段日益方便与灵活，数字图像在人们的日常生活、视频监控、医疗诊断、太空探测等各个领域起到了重要的作用。然而现有的成像过程存在诸多问题，比如，相机的感光单元质量、摄影者专业水平、拍摄环境等，往往导致最终得到的图像含有明显的模糊以及噪声。如何让计算机自动的从模糊图像中把清晰图像恢复出来，从而为其他图像处理问题以及后续计算机智能化分析提供高质量的图像，成为亟待解决的问题。针对这一问题，本项目以数据驱动和知识指导的深度学习方法为技术主线，在图像退化机理研究、领域知识挖掘、深度学习模型构建等方面取得了一系列的研究成果。具体包括：提出了有效的刻画复杂条件下图像模糊的成像模型及去模糊方法、面向高层语义特征学习的图像去模糊方法、以及知识指导和数据驱动下的动态场景图像和视频去模糊模型和方法。在本项目的资助下，项目组在权威国际期刊（IEEE TPAMI、IJCV、TIP等）和权威国际会议（CVPR、ICCV、ECCV等）上发表论文34篇，其中CCF推荐A类期刊和会议论文27篇，授权相关专利2项。项目负责人获得2019年度国家优秀青年科学基金资助。