基于深度神经网络的图像中雾霾的度量与去除

The presence of haze will seriously affect the quality of outdoor images, thereby affecting the availability of some related systems, such as the electronic police, etc. In China, foggy or hazy days happen with high frequency. Thus, how to quickly remove the negative effects of haze on related systems has become an urgent problem. In view of this, in this project, we mainly focus on two issues brought by haze to the imaging systems. The first issue is how to design algorithms to accurately measure the density of haze in an image. The second one is how to design a haze removal algorithm to recover a high quality clear image from the original hazy one. In order to solve the above-mentioned two problems, we have proposed novel solutions, which are primarily based on the theory of deep neural network. Specifically, our research work and the innovation of this project mainly include the following aspects. 1) We will construct a large-scale dataset, which will be used to design and test models for estimating the haze density in an image. 2) We propose a novel algorithm for estimating the haze density in an image based on the deep neural network and the computational visual saliency model. 3) In order to estimate the depth map of a scene from a single image, we propose an approach based on a multi-channel deep neural network taking multi-scale contexts as input; then, based on this fruit, we will study how to simulate hazy images from the original clear ones. 4) We propose a novel haze removal algorithm based on the deep neural network and the haze density estimation model. Based on the proposed solutions, the haze density in an image can be predicted efficiently and accurately; high-quality clear images can be recovered automatically and efficiently from those captured in hazy days. The research output of this project will have broad application prospects.

雾霾的存在会严重影响户外图像的质量，进而会影响到某些系统的可用性，例如电子警察等。雾霾天气在我国呈现多发态势，如何快速去除雾霾对相关系统的不利影响成为亟待解决的问题。在本项目中，我们将围绕两个关键问题展开研究：一是如何设计算法来准确评估图像中的雾霾程度，二是如何设计去雾霾算法来从有雾霾的图像中复原出高质量清晰图像。为了解决以上两个问题，我们提出了以深度神经网络为基础的解决方案：1）构建用于图像雾霾程度度量研究的大规模数据集；2）提出基于深度神经网络和视觉显著性模型的图像雾霾程度度量算法；3）提出利用深度神经网络和多尺度邻域策略来解决基于单张图像的场景深度估计问题，进而模拟生成带雾霾的图像样本；4）提出基于深度神经网络和雾霾程度度量模型的图像去雾霾算法。基于这套解决方案，我们可以更加高效准确地预测图像中的雾霾程度和复原雾霾条件下采集的图像。本项目的研究成果将具有广阔的应用前景。

许多图像应用系统需要在室外采集图像，在雾霾天，此类系统的图像质量会受都到极大影响，进而会影响到整个系统的可用性。鉴于此，在本项目中，我们主要围绕雾霾给成像系统带来的两个问题展开研究:一是如何设计算法来准确度量图像中雾霾的程度，二是如何设计图像去雾霾算法来从在雾霾条件拍摄的图像中复原出高质量清晰图像。对于这两个问题，现有的解决方案还存在着很多缺陷和不足之处。我们提出的解决方案主要是以深度神经网络作为理论工具，项目的主要研究内容主要包括以下几个方面：1）构建了面向图像雾霾程度度量研究的大规模数据集；2）提出了高效、自动化的图像雾霾程度度量算法；3) 提出了基于单张图像的场景深度估计方法，进而提出带雾霾的图像样本仿真算法；4）提出了基于弱监督学习的图像去雾霾算法。项目的关键成果包括：1）建立了采集自真实世界的雾霾图像基准数据集，这是第一个在没有任何模拟的自然室外场景中收集图像对的除雾数据集，基于此数据集，我们建立了两个标准，可见性指数和真实性指数，对现有的代表性除雾方法进行有效的评估；2）提出了一种快速模拟逼真雾霾效果的方法，同时设计了一种可以客观评价所模拟的雾霾图像真实度的方法；3）提出了一种两阶段式的弱监督学习去雾框架，不同于主流的基于学习的去雾方法，没有涉及成对图像的弱监督训练方案能实现比监督学习方法更好的性能；4）提出了一种基于多尺度亚像素卷积的深度估计方法，多尺度融合超分辨率网络的应用使得预测得到分辨率更高的深度图像，分辨率能够达到其他方法的2-4倍。除了上述在雾霾图像处理领域的研究，我们还拓展研究了其他图像失真类型的度量以及低质图像复原，如图像曝光度的自动化评估与无监督校正、人脸光照图像质量评价，还研究了深度学习理论的应用，在基于深度神经网络的泊车位检测与掌纹识别等领域也进行了一系列探索。本项目的成果将极大地促进图像处理相关领域的发展。