优化启发下的可解释深度神经网络及其在图像重建中应用

The quality of digital images plays a significant role in the process of visual perception and communication. The degradations of digital images are inevitably caused by many factors during the period of image acquisition, storage, transmission and processing. Therefore, image reconstruction technology, which infers the recovery of the original image from the observed degraded version, has seen a hot and basic topic in the field of image processing. With the aim of developing a fast yet accurate algorithm for image reconstruction, we combine in this paper the merits of two existing categories of methods: the structure insights of traditional optimization-based methods and the performance/speed of recent network-based ones. This project will study on optimization-inspired interpretable deep neural networks for image reconstruction, with the purpose of surmounting the bottlenecks and constraints of the existing deep neural network as a "black box". All the parameters in the proposed deep networks (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. This project will make theoretical innovations and technological breakthroughs, and will further greatly promote the development of the new generation of image reconstruction technology.

数字图像的质量可以说在人们进行交流通信和视觉感知的过程中起着至关重要的作用。在数字图像的采集、存储、传输和处理过程中，由于拍摄设备及人为操作不当等诸多因素不可避免使得最终获得的图像失真，或称为图像退化，从而影响图像质量。因此，利用退化图像对原始真实图像进行复原的图像重建技术，一直以来都是数字图像处理领域里的研究热点，对其研究具有十分重要的理论和现实意义。为了获得高质量且高效率的图像重建算法，本项目将研究有机地结合目前主流的两大类不同的图像重建算法：基于优化的图像重建算法和基于深度网络的图像重建算法，充分利用两者的优点，突破已有将深度神经网络当作是一个“黑盒子”的瓶颈和限制，自适应学习图像稀疏表示先验模型和正则化参数，设计具有可解释性和结构性的优化算法启发下的通用图像重建深度神经网络框架。本项目可取得理论创新与技术突破，为新一代的图像重建技术的研发起到积极推动作用。

现有的面向视觉重建任务的深度展开网络在研究过程中通常将采样和重建两个过程分离开，但最优采样矩阵的选取往往依赖于特定的重建算法；现有主流的压缩感知或核磁共振成像中固定采样矩阵自适应能力不足，可学习矩阵空间效率低下、训练难度大；在在采样过程中，大多数方法将不同的采样矩阵视为不同的独立任务，并且需要为每个目标采样矩阵训练一个特定的模型，这样的做法导致计算效率低下，并且模型泛化能力差。另外，在深度展开网络设计中过度依赖于优化算法，从而导致展开网络的各个迭代过程之间缺乏更为有效的信息传输方式。本项目的创新性主要在于两方面：一方面是将信号采样、数值优化、神经网络三者在统一的框架下结合，对采样和重建过程进行协同联合设计，使得设计的神经网络架构具有较强的自适应性和泛化能力；另一方面是在优化启发式背景下进一步突破传统优化算法限制，充分考虑深度神经网络信息传输的特点，构建更为高效和高通量的网络架构，从而提升性能。具体而言，本项目提出了优化启发下紧致神经网络设计、内容自适应的可伸缩深度网络设计、处理任意采样的可控网络设计、记忆增强的深度优化展开网络设计、稠密特征自适应融合深度展开网络设计、端到端概率下采样可解释重建网络设计、高吞吐量通用深度展开网络设计等一系列高效解决方案。通过本项目研究，进一步了突破已有将深度神经网络当作是一个“黑盒子”用于图像重建的瓶颈和限制，在图像去噪/去雨/去模糊、超分辨率、压缩感知、核磁共振成像、视频/光谱压缩快照成像等应用任务中都取了显著的性能提升，多项研究成果都发表在本领域国际顶级期刊和国际顶级会议上，有效推动了优化启发下可解释神经网络设计在图像重建领域的发展。