基于人眼视觉特性与优化方法的样本块图像修复算法研究

Image inpainting, refer to the process of reconstructing lost parts of a degraded image by using the known information in the image, is an emergent research field in image processing and computer vision. Aiming at the key problems that the inpainting of different degraded images lacks accurate inpainting models and effective algorithms, this project systematically and deeply investigate exemplar-based inpainting algorithms from the aspects of human visual property based prior knowledge excavation and model construction, the design of the energy equations that accurately reflect the goal of image inpainting, and optimization strategy of energy equations. On the basis of investigating the principles and properties of human visual system and excavating different statistical distribution of image features, the priori knowledge models that satisfy human visual requirement are constructed. Based on human visual property, image properties and priori knowledge are utilized to design energy equations that can accurately describe the goal of image inpainting. Afterwards, robust and effective approaches of solving energy equations and approaches of multiple candidate patches selection are designed. Different kinds of degraded images are utilized to verify the performance of proposed inpainting algorithms. This project will play an important role in building theoretical framework of human visual property based image inpainting, and also provide new approaches and tools for inpainting different kinds degraded images.

图像修复旨在从破损图像中利用已知信息重构丢失信息，是数字图像处理和计算机视觉的新兴领域。针对不同破损类型图像缺乏准确修复模型和有效算法的关键问题，本项目从基于人眼视觉特性的先验知识挖掘与模型构造、符合图像修复目标的能量方程设计以及能量方程求解策略三个方面系统深入地研究样本块图像修复方法。以人眼视觉的原理与特性分析为基础，挖掘图像自身特征的不同统计分布特性，构造符合人眼视觉要求的先验知识模型；基于人眼视觉特性，将图像自身特性与先验知识反映到能量方程中，设计能更准确描述图像修复目标的能量方程；最后，设计鲁棒、高效的能量方程优化求解方法及多候选块选择方法。采用不同破损图像对修复方法进行实验验证。本项目研究成果将为建立基于人眼视觉特性的图像修复理论体系发挥重要作用，为各类破损图像修复提供新方法和新工具。

图像修复旨在从破损图像中利用已知信息补全丢失信息，是数字图像处理和计算机视觉的重要研究领域。本项目主要研究样本块图像修复算法，特别是指导图像修复过程所需的先验信息获取方法，符合人眼视觉要求的全局能量方程构造及优化求解方法。具体研究成果如下：一方面针对基于MRF的样本块图像修复算法进行研究，为使修复后图像更好地保持结构部分的连贯性，探索如何利用结构先验信息指导图像修复过程，据此提出了基于方向结构特征分布分析的MRF图像修复；为更深入探索不同方向结构信息对图像修复过程的指导意义，提出了基于所需方向结构特征统计的MRF图像修复算法；而后为更好地修复包含复杂结构信息的破损图像，同时保持修复后图像邻域内信息的连续一致性，提出了基于结构偏移统计和多方向特征能量方程的MRF图像修复方法。另一方向针对基于匹配的样本块图像修复算法进行研究，为了获得稳定的填充顺序和合理的匹配准则，分别提出了结合梯度特征与色彩一致性的图像修复方法和基于球形收敛和结构一致性的图像修复方法。该项目研究取得了一系列有意义的研究成果，共发表了SCI论文3篇，EI论文4篇，完成了项目的预期考核指标。