基于卷积神经网络的图像融合及质量提升理论研究

Image fusion is an effective mean of comprehensively utilizing various forms visual information obtained from the systems with multi-sensors. It has been widely used in military, remote sensing, medical, and many other areas. This project will research and establish the novel image fusion and the quality boosting theory based convolutional neural networks in digital cameras imaging and remote sensing by considering the latest theories of machine learning and the advantages of convolutional neural networks in image representation processing. The research content includes the deep convolutional network features learning methods especially for image fusion, the construction of the spatial saliency calculation methods from the convolutional neural network local receptive field features, and fusion network layers for multi-source image input. This projection will also construct the low-level features fusion strategy which is guided by the high-level features, and the fusion weight maps consistency verification method with non-local network to further improve the fusion result quality. In addition, in order to further enhance the utilitarian of novel CNN-based image fusion strategy, the projection will research the fusion and boosting methods realized by constructing the multi-input network layer for simultaneous denoising, super-resolution and fusion. The research results of this project will drive the research of high-precision, highly efficient image fusion theory the development and complete the convolutional neural network theory.

图像融合技术是对多传感器系统形式多样的可视化信息进行综合利用的一种有效手段，广泛应用于军事、遥感、医学等诸多领域。本项目将结合机器学习领域最新理论，充分利用卷积神经网络深度特征表示与图像处理方面的模型优势，主要以数码相机图像和遥感图像为主要研究对象，深入研究并建立基于卷积神经网络的图像融合框架，包括提出面向图像融合任务的深度卷积网络特征学习方法，设计局域感受野表达图像空间局部凸信息的方法，构建多输入网络融合层；研究网络深层特征对底层特征融合的反馈指导理论，设计基于非局部CNN的融合权重矩阵一致化校验网络层，进一步提升融合图像质量；研究构建同步图像增强、超分辨以及融合的多输入CNN图像质量提升网络层，形成基于CNN的图像融合质量提升理论，突破传感器在抗噪声、分辨率低等方面的硬件限制，增强图像融合技术的实用性。本项目将在推动高精度、高效的图像融合新理论发展的同时，完善卷积神经网络理论。

图像融合技术通过综合利用同一场景在不同成像传感器、不同成像条件下采集得到的多幅图像，来获得该场景更为全面准确的图像描述，已被广泛应用于军事、医疗诊断、视频监控、卫星遥感等领域。本项目针对当前图像融合研究中存在的困难与挑战，开展了基于深度学习的图像融合与质量提升研究，提出了一系列图像融合新方法，包括基于信息保留和特征传输深度图像融合网络、基于迭代后向映射的多分辨率多模态图像融合深度网络、构造了基于对称的注意机制的稠密残差图像融合网络，基于混合多尺度分解和自适应亮度校正的图像融合、基于残差学习和批正规化的遥感图像融合与质量提升方法等。这些方法有效解决了图像融合研究中融合过程不稳定，细节信息提取能力不足、容易造成信息丢失、多模图像尺度不匹配、对比度低、存在雨雾噪声等难点问题，新方法融合结果在视觉质量和客观评价两方面均取得了高质量的融合效果。基于本项目的资助支持，共发表高水平学术论文21篇(其中项目负责人第一/通讯作者论文19篇)，相关成果在国内外同行中产生了积极的影响，其中IEEE Sensor Journal等权威SCI期刊发表论文9篇。此外，获国家自然科学奖二等奖1项并培养硕士研究生11名。项目组成员积极与国内外高校和科研院所开展了广泛的学术交流与合作，多次参加国内外相关学术会议。