基于对抗学习策略的模糊辨识性特征计算方法研究

Image blur significantly affects the quality of visual perception and results in performance degradation of computer vison system. The existing blurry image processing methods have the following deficiencies: insufficient labelled blurry image data, absence of general feature representation for blurry images and no methods to make best of the middle level and high level visual information. To overcome these problems, this project proposes to learn and apply the blur-aware features representation in blurry images with an adversarial learning based scheme. There are four main issues to be addressed in this project: 1) a generative adversarial network based framework that incorporates a novel point-to-point degradation imaging model is proposed to generate the synthesized blurry images, whose data distribution is approximating to real blurry images; 2) A novel fully pointwise and 3D convolutional neutral network is proposed to model the statistical and structural regularities of natural images by using pixel distribution and block matching strategies. Then the modelled regularities are embedded into a generative adversarial network and served as the constraints for extracting the blur-aware feature representations; 3) A contextualizing framework embedded with a fully convolution neural network is proposed to learn the mutual inherent features for depth inferring and blur estimation, and consequently achieve depth-aware image deburring. 4）An iterative framework is proposed to incorporate blur invariant and visual content to generate visual discriminative feature representation for semantic segmentation of blurry images, which mutually boosts the performance of image deblurring and semantic segmentation. Based on the above research, the project aims to propose an effective methodology and theory of feature learning for the visual perception of blurry images.

模糊现象会严重影响图像的视觉辨识性，导致计算机视觉系统性能下降。当前模糊图像处理方法存在着标签样本匮乏、缺少通用先验特征表示、没有充分利用中高层视觉信息等不足。针对上述问题，本项目提出基于对抗学习策略的模糊辨识性特征计算方法，内容包括：1）基于退化成像机理提出一种点对点模糊成像模型，并据此设计基于生成对抗网络的图像合成方法，生成能够逼近真实数据分布的模糊图像样本；2）分别提出基于像素打乱和块匹配的数据增强策略及网络设计方法，建立图像统计正则和结构正则先验模型，形成模糊辨识性先验特征表示；3）建立场景结构预测和模糊程度估计的共有特征表示，并据此提出一种渐进优化的统一计算框架，实现结构感知的图像去模糊处理；4）设计一种迭代优化的联合计算机制，融合图像底层模糊不变性和视觉高层内容重要性特征，改善模糊图像语义分割的鲁棒性和准确性。通过上述研究，逐步形成面向模糊图像视觉感知的特征计算方法和理论体系。

模糊现象会严重影响图像的视觉辨识性，导致计算机视觉系统性能下降。当前模糊图像处理方法存在着标签样本匮乏、缺少通用先验特征表示、没有充分利用中高层视觉信息等不足。针对上述问题，本项目开展了基于对抗学习策略的模糊辨识性特征计算方法，内容包括：1）基于退化成像机理提出一种点对点模糊成像模型，并据此设计基于生成对抗网络的图像合成方法，生成能够逼近真实数据分布的模糊图像样本；2）分别提出基于像素打乱和块匹配的数据增强策略及网络设计方法，建立图像统计正则和结构正则先验模型，形成模糊辨识性先验特征表示；3）建立场景结构预测和模糊程度估计的共有特征表示，并据此提出一种渐进优化的统一计算框架，实现结构感知的图像去模糊处理；4）设计一种迭代优化的联合计算机制，融合图像底层模糊不变性和视觉高层内容重要性特征，改善模糊图像语义分割的鲁棒性和准确性。通过上述研究，形成了面向模糊图像视觉感知的特征计算方法和理论体系。通过上述项目研究，项目团队共发表学术论文42篇、软件著作权2项，培养相关领域研究生7人。本项目研究成果被应用在复杂环境下黑烟排放车辆实时监测和动态环境下机器人可交互区域感知任务中，先后获得2019年度安徽省技术发明奖一等奖（序三）、2021年度安徽省自然科学奖二等奖（序三）。