基于片变换统计学习的图像修复方法研究

The rapid growth of visual resources such as images and videos boosts the huge demands in reusing, organization, predicting and mining of visual data. Image completion is a power interactive image processing technique which infers or fills in the unknown part of the image by modeling and reusing visual information extracting from known part. Such research is of great theoretical significance and broad applications. The core problem of image completion is to make good use of visual information effectively to learn and optimize completion model. This project will focus on image completion method based on learning the statistics of patch transformations. The method makes use of the learned sparsity of patch transformation statistics to model and solve the completion problem. In this study, to explore the theories, models and algorithms for completion problem, we will focus on the patch transformation statistical learning theory, sparsity contrainsts image completion representation model, and effective completion optimization algorithm. In this end, this study provides patch transformation based image analysis model which enables the building of the unified image completion framework and solution. The expected research results include 4-6 papers, more than 4 patents, patch transformation learning theory, and a unified image completion framework which reduces more than 90% search sapce .

随着视觉资源的飞速增长，人们对图像数据的重利用、组织、推理和挖掘等方面的需求日益提升。图像修复是一种以视觉感知规则为指导，通过建模不完全视觉信息来推理出完全信息的图像处理技术，其研究具有重要的理论意义及广阔的应用前景。图像修复技术的关键核心问题是如何利用有效视觉信息进行修复模型的充分学习和高效优化。围绕该关键核心问题，本项目提出基于片变换统计学习的图像修复方法，通过充分挖掘并利用片匹配关系的稀疏统计特性，对修复问题进行建模和求解。本项目从理论、模型、算法三个方面，深入研究基于片变换的修复模型学习方法、稀疏约束的修复模型表示方法和高效稳定的模型优化算法，旨在提出具有理论基础与实际应用价值的基于片变换统计的图像分析模型，并以此为基础构建完整的图像修复技术框架和算法。预期研究成果包括4-6篇论文和4项以上专利，片变换统计学习理论及完整的图像修复方法框架，方法可有效压缩样本搜索空间90%以上。

随着图像和视频等视觉资源的爆炸式增长，人们对海量视觉数据在重利用、组织、编辑、推理和挖掘等方面的需求日益提升。作为一项通过重利用视觉信息推理缺损区域以得到视觉上满意效果的图像处理技术，图像修复的处理方法可看作是图像处理基本方法与人类视觉研究方法的结合，图像修复问题本身是对视觉感知过程的学习和理解，其研究是图像理解和计算机视觉中的基础理论问题，能够更好地促进其他图像处理基本问题的发展，因此具有十分重要的理论意义和广阔的应用前景。. 本项目针对图像修复中的关键科学问题，从理论、模型、算法三个方面分别研究基于片变换统计的学习理论、基于搜索空间稀疏约束的修复模型以及基于稀疏约束片匹配的修复算法，取得了一定的结果。第一，构建了基于片变换统计学习的图像修复方法框架，提出了联合稀疏片选择与最佳接缝的图像修复算法，由于片选择的稀疏性及最佳接缝算法求解的快速性，算法能够高效稳定地实现图像修复，与其它修复方法相比获得结构更自然的结果；第二，结合当前深度学习等先进方法，将图像修复领域从数据层面扩展到特征层面，提出了融合局部线性嵌入-卷积神经网络模型，该模型通过图像片变换的特征统计学习，能够实现对破损图像(蒙面遮挡人脸)特征的修复，从而提升了在遮挡情况下人脸检测的精度15.6%，该工作丰富了图像分析的研究领域并扩展了模型的应用范围。本项目支持下，在国内外学术期刊和国际会议上发表了17篇论文（其中CCF-A类论文3篇，CCF-B类论文1篇，CCF-C类3篇, 2篇SCI，12篇EI），提交专利申请8项（其中授权3项）。. 本项目成果从图像和特征级别对缺陷数据进行视觉与语义层面的修复，其科学意义在于：1）片变换统计学习理论提供图像级别的统计规律建模和特征快速匹配算法，为真实环境下图像物体检测领域“遮挡知识规律发现与建模”的研究提供理论和方法借鉴。2）片变换统计学习理论可以推广到特征层面的修复，从而可应用于更高层语义的视觉理解与推理任务。