基于深度特征学习的非受控人脸识别研究

Unconstrained imaging environment to bring grand challenges of poses, occlusion, expression and lighting to face recognition, is the bottleneck problem of large-scale applications, and become a hot topic in the field. For the limitations of face alignment and feature learning of the current technology, this project, based on our recently proposed transform-invariant PCA (TIPCA) model, enforced by the deep learning techniques, aims to propose a fully automatic face alignment, representation, and recognition approach. The major topics include (1) comprising a deep learning based facial feature point localization, face frontalization, TIPCA based registration process, which normalize the complexly changed faces to an unified form, to facilitate the following feature learning procedure; (2) the adaptive learning method for deep neural network, which effectively use of information from both the massive external training samples and the small sample training set of specific candidates; (3) by means of human-computer interaction and feedback learning, reducing In the face of similarity gap between the human and machine by the use of artificial semantic tag information, and finally improving the generalization ability of uncontrolled face recognition. Results of this project will help to solve the problem of face recognition under controlled conditions with the small sample size, with great value on real-world applications.

真实非受控成像环境给人脸识别带来姿态、遮挡、表情和光照等复杂挑战，是大规模识别应用的瓶颈，成为本领域的研究热点。针对当前技术在人脸配准和特征学习上的不足，本项目以申请人最近提出的变换不变性主成分分析TIPCA模型为基础，采用深度特征学习为主要技术路线，提出一套面向复杂环境的人脸配准、表示与识别的新方法。研究内容包括（1）一种包括特征点定位、人脸正面化、TIPCA配准的处理流程，把包含复杂变化的人脸图像归一化为统一的形式，便于后续学习人脸的本质特征；（2）深度神经网络学习的自适应训练方法，同时有效地利用海量外部训练样本和特定候选人的小样本训练集的信息；（3）通过人机交互和反馈学习的手段，减小人机之间在人脸相似度判定上的“语义鸿沟”，使深度神经网络学习获得的特征相似度与人类的认知相似度更加接近，从而提高识别的泛化能力。本项目的研究成果将有助于解决真实环境下的人脸识别难题，具有较大应用价值。

本项目面向智能视频监控的国家重大需求，重点研究以人脸为主要应用的深度学习方法。与传统识别任务相比，视频监控面临“同类外观多变”、“类间差别细微”、“训练样本缺乏”等识别挑战，视觉特征表达是解决这些挑战的核心问题。项目在增强视觉特征的鲁棒性、鉴别性和泛化性等方面取得重要进展。项目提出了像素相关性假设出发的特征滤波器，得到了对噪声具有最优鲁棒性的特征表达；提出基于对抗样本的三元组正则化训练方法，大幅度地搞了人脸深度模型的噪声鲁棒性；提出了基于自适应类别间隔、高阶注意力、特征图分组训练的方法，提高了特征的鉴别性；提出了虚拟样本自适应、特征距离约束和信息最大化方法，提高了特征的泛化能力。本项目建立了人脸识别鲁棒性和公平性数据集，用于评价相似外貌、跨年龄、跨姿态和在四类主要人种上的基准性能的训练和测试数据集，被国内外同行广泛采用。除了人脸识别，本项目的深度特征学习的成果还成功地应用在表情识别、行人识别、车辆识别、细粒度物体检索与聚类等问题上。依托本项目的理论成果，项目负责人以第一或通讯作者发表TPAMI、IJCV、TIP、PR等SCI一区二区期刊论文和CVPR、ICCV、NIPS、AAAI等CCF-A类会议论文20余篇，得到了英美等国院士和多位IEEE Fellow等众多著名学者的正面引用。这些成果全面系统地提升了视觉识别的稳定性、准确性和适应性，据此研制的智能监控系统在封闭环境和开放环境下均获得较大规模应用，取得显著社会经济效益。