联合模型先验与学习先验的高性能超分辨率重建技术

Increasing image resolution has great demand in the fields of medical imaging, aerospace, national defense and security, and digital entertainment. The traditional approaches usually use a single reconstruction-based or learning-based super resolution method, and ignore the complementarity of these two kinds of methods. Currently, the domestic and overseas research about the combined super resolution approach, combining the two kinds of methods, is still in its infancy. This project will be mainly focused on the study of modeled priors and learned priors so as to realize the high performance of combined super resolution frameworks (hard connection framework and soft connection framework). The main contributions are as follows. Within the hard connection framework, enhanced nonlocal modeled priors are proposed to improve the modeling ability for nonlocal similarity. Then, the convolutional neural network, which predicts the true local regression coefficients of the high resolution image, is proposed to construct explicit learned prior and supplement the missing image details in the reconstruction process. Within the soft connection framework, the effective objective function splitting algorithm is proposed to provide theoretical support for the combination of modeled prior and learned prior. Then, the denoising network that combines the spatial and frequency domain is proposed (implicit learned prior). Combining the implicit learned prior with other complementary denoising operators in the proposed splitting algorithm, the performance of super resolution can be further improved. This project will provide the theoretical and technical basis for the development of combined super resolution method.

图像分辨率提升在医学成像、航空航天、国防安全以及数字娱乐等领域有着极大的需求。传统方法通常采用单一的基于重建或者基于学习的超分辨率方法，未充分利用两类方法的互补性。目前，国内外在将两类方法进行结合，以实现联合超分辨率方面的研究还处于初级阶段。本项目拟深入研究模型先验与学习先验，在此基础上提出高性能的联合超分辨率框架（硬连接框架和软连接框架）。主要创新点：在硬连接框架下，提出增强非局部模型先验，以提高对非局部特性的建模能力；提出预测高分辨率图像局部回归系数的卷积神经网络，进而构建显式的学习先验，对模型先验进行细节补充。在软连接框架下，提出有效的目标函数分裂算法，为实现模型先验与学习先验的结合提供理论支持；提出融合空域与频域的去噪网络（隐式的学习先验），并在分裂算法中结合其它互补去噪算子，实现超分辨率性能的提升。本研究项目将为基于联合的超分辨率方法的发展提供理论和技术支持。

医学成像、航空航天、国防安全以及数字娱乐等领域通常对图像分辨率有着极高的要求。传统提高图像分辨率的方法通常采用单一的基于重建或者基于学习的超分辨率方法，未充分利用两类方法的互补性。目前，国内外在将两类方法进行结合，以实现联合超分辨率方面的研究还处于初级阶段。. 为解决此问题，本项目深入研究了模型先验与学习先验，在此基础上提出高性能的联合超分辨率框架（硬连接框架和软连接框架）。本项目的主要工作如下：(1)研究了硬连接框架，提出了增强非局部模型先验，使对图像非局部特性的建模能力得到提升；(2)提出了预测高分辨率图像局部特性的卷积神经网络，并据此构建了显式的学习先验，对非局部模型先验进行了细节补充；(3)研究了软连接框架，提出了有效的目标函数分裂算法，为实现模型先验与学习先验的结合提供了理论支持；(4)提出了多种高效的去噪网络（隐式的学习先验），并在分裂算法中结合了多个互补去噪算子，实现了超分辨率性能的提升。本研究项目为基于联合的超分辨率方法的发展提供了理论和技术支持。. 总体来说，本项目完成了预定的所有研究内容，并在此基础上进行了拓展。基于相关研究取得的一系列成果能够为图像超分辨率重建、图像去噪等图像复原技术的发展提供新的思路和参考。依托本项目，已发表学术论文13篇，其中SCI期刊论文9篇，国际会议论文2篇，中文期刊论文2篇。申请国家发明专利7项，其中已授权5项。