基于图像结构和图像逻辑视觉认知分析的图像修复方法

Image inpainting and reconstruction is to restore the rationality and integrity of damaged image in vision, study and resolve the optimization of the damaged image, and automatically repair the image by effective information around the damaged image. However, the defect area are often surrounded by complex background which are rich with structure information and texture information, and the image information changes without any obvious rules to obey, therefore it is difficult to establish the mathematical model of the defect image in most cases. Research of image inpainting algorithm based on image structure and visual cognition analysis of image logic will start from visual psychology, utilize image processing to achieve the connectivity and consistence in vision. This study will comprehensively and systematically analyze the characteristics of digital image signal, make full use of existing research results of visual neurology and image inpainting, focus on image inpainting technologies based on visual perception, so as to achieve the goal of improving the speed and quality of image inpainting.

图像修复与重构是为了让破损的图像恢复视觉上的合理性和完整性，研究和解决如何更好地实现检测图像上的受损部分，并根据受损图像周围的有效信息自动进行恢复。然而通常情况下，图像修复算法的缺损区域处于复杂的图像背景下，周围的已知信息呈现出丰富的结构信息和纹理信息，变化没有很明显的规则可循，不易建立数学模型。基于图像结构和图像逻辑视觉认知分析的图像修复方法希望从视觉心理学出发，进行图像处理以达到视觉上的连通和一致。全面系统地分析数字图像信号的特征，充分利用现有的视觉神经学和图像修复的研究成果，研究基于视觉认知的图像修复技术。以达到提高修复速度和改进修复质量的目标。

图像修复是研究如何更好地定位图像受损部分，并根据全局图像及受损区域周围的有效信息进行自动修复，以达到破损图像恢复视觉上的合理性与完整性。图像修复技术可广泛应用于医学图像、破损老照片的修复、犯罪现场的还原、特技制作、虚拟现实等领域，具有重要的研究意义与广泛的应用前景。本项目是基于图像结构和图像逻辑视觉认知，并从视觉心理学出发，进行图像重建研究，以达到人眼视觉上的连通和一致。团队从传统算法与深度学习两方面对图像修复技术进行研究，并对图像修复的交叉应用展开了积极的探索。在传统算法方面，基于结构约束与样本变换，高效提取图像的结构与纹理等信息，并通过图像分割及图像纹理方向分析等算法，再提取关键指导信息对图像进行修复，使修复结果达到了视觉上的连通和一致。在深度学习方面，分别提出了基于自编码、胶囊网络、改进的U-Net及残差聚集模型等算法，并开创性地提出了结构损失，进一步提高了大破损图像修复在结构、纹理与语义上的合理性，更符合人眼视觉认知。在交叉应用方面，将图像修复与图像超分辨、图像分类、图像文本检测及图像太阳能辐射值预测等领域进行交叉结合，并取得了较好的研究成果，进一步提升研究工作的实用性，促进学科发展。大量的实验结果证明，本项目所进行的图像修复相关算法研究，具备高度的科学性与应用价值，对推动社会与科学发展具有重要意义。