基于多流形学习的鲁棒判别人脸超分辨率方法研究

In recent years, the rate of assaults in China was worryingly high, and the communal violence and malignant cases rise sharply, face image is one of the main evidence in criminal detection. However, many serious cases took place in the bad imaging conditions. For the face dataset size is very limited and the image degeneration will lead to the inconsistence between the low-resolution and high-resolution spaces, the super-resolved face image by the current face super-resolution methods is lack of discriminative information and sensitive to noisy. To this end, this project will take the multi-manifold discriminant analysis and locality constrained group sparse representation as its foundation, study the method of robust and discriminant low-resolution and high-resolution dictionary pairs reconstruction, and study the neighbor embedding in accordance with manifold learning between the low-resolution and high-resolution image spaces by introducing the nearest feature space, and study the multi-layer relationship the low-resolution and high-resolution image spaces by borrowing a “coarse-to-fine” law of human recognition. Through above three aspects of research, this project will give the new solutions of the key issues of face super-resolution, achieve technological breakthroughs of robust and discriminant face super-resolution, and significantly improve the efficiency of video surveillance system.

近年来中国暴恐袭击事件频发，群体事件和恶性案件呈急剧上升趋势，人脸图像成为刑侦破案的主要依据之一。然而各类大案要案多发于成像条件恶劣的环境，嫌疑对象人脸模糊不清、难以辨识，制约了刑事视频侦查业务的开展。由于受到样本库规模有限、图像降质过程破坏了高低分辨率流形结构一致性等因素的影响，现有的人脸超分辨率技术应用于监控视频时存在重构人脸图像可辨识性差、对噪声敏感等问题。为此，本申请以多流形判别分析和局部约束组群稀疏为理论基础，研究高低分辨率图像鲁棒判别字典学习与构建方法；引入最近特征空间思想，研究符合流形学习本质的高低分辨率图像邻域嵌入学习与保持方法；借鉴人类“由粗到精”这一认识规律，研究高低分辨率图像层次化建模方法。通过上述三个方面的研究，创新性地解决了人脸超分辨率技术中的多个关键问题，实现低分辨率人脸图像鲁棒判别重构这一核心技术创新，显著提升视频监控系统的实际使用效能。

在刑侦工作中，监控视频中的人脸图像是辨识案件关键人物最直接、最关键的线索信息。但是在实际监控应用中，各类大案要案多发于成像条件恶劣的环境，嫌疑对象人脸模糊不清、难以辨识，制约了刑事视频侦查业务的开展。该项目从图像块鲁棒表达、多流形判别保持、再生学习样本扩充、层次化人脸图像流形渐进重构等方面，研究判别人脸图像超分辨率重构方法。取得了如下主要成果：1）提出基于平滑稀疏表示的鲁棒图像块表示方法，保证稀疏重构结果的精度和唯一性，当输入人脸图像存在混合噪声时，PSNR性能相较于传统稀疏表示法提升0.5dB左右；2）建立流形间和流形内判别图模型，将原始高低分辨率人脸图像样本投影到一个具有判别性的公共空间进行人脸对比与识别，与传统低分辨率空间识别相比，提出方法在公开国际标准数据集上的人脸识别率平均提升15%左右；3）设计了一种再生学习算法，通过将估计的高分辨率人脸添加到训练集来模拟输入低分辨率人脸图像“在库”的情形，解决了传统方法在测试样本与训练集差异较大，或者训练样本规模过小时性能急剧下降的问题，在小样本情况下PSNR提升5dB以上；4）提出基于高低分辨率空间多层次、协同渐进映射的超分辨率模型框架，突破了传统单一层次流形保持学习无法应对高低分辨率空间“多对一”的局限，在渐近更新后的流形空间进行更加准确地邻域嵌入学习与预测，解决传统单一层次流形保持学习无法利用高分辨率流形结构的问题。发表IEEE TIP /TCYB/TMM/TCSVT/TNNLS/TGRS、IJCV 等中科院一、二区期刊论文18篇，IJCAI、AAAI、ICASSP、ICME等 CCF推荐 A/B 类国际会议论文 6 篇，其中 ESI 高被引/热点论文 6 篇；出版学术专著 1 部；授权发明专利 3 项；获ICME 2017最佳论文提名、IFTC 2018 最佳论文奖。IEEE Fellow、TIP期刊高级副主编、法国Christine Guillemot教授发表在IEEE TIP上的论文引用了本项目产生的多项成果，并指出我们的方法是当前最好的方法之一，在人脸识别上有最具竞争力。IEEE Fellow陈俊龙教授和IEEE Life Fellow唐远炎教授联合署名发表在IEEE TCYB上的论文对申请人的多项工作进行了全面的介绍，指出我们的方法可以揭示非线性流形空间的拓扑结构，并获得了当前最好的性能。