基于多深度模型融合和生成对抗网络的人脸表情分析

Facial expression analysis is one curial research for intelligent visual signal processing and artificial intelligence, whereas there are many problems and challenges for this research, such as the local key positioning, the global optimization of the whole system of facial expression recognition, the lack of spontaneous expression data, the robustness of facial expression recognition, et al. For improving these problems, this project mainly focuses on the study of facial expression recognition based on multiple deep networks fusion and generative adversarial network from views of feature representation, local area selection and expression recognition, meanwhile by incorporating ensemble learning, deep neural network, sparse learning, generative adversarial network, et al, which includes: 1) for the problems that feature learning of facial expression by uniting the selection of local regions and expression recognizer models, we study the fusion models of multiple deep networks based on joint optimization and sparse ensemble; 2) for the problems of boosting the features of local key regions in the process of training one single deep network model, we study the boosted deep neural network model for facial expression recognition; 3) for the lack of facial expression data and the problem that expression is not spontaneous, we study generative adversarial network models based on joint multiple local regions. In this project, the studies of multiple deep networks fusion models and generative adversarial network models will be promoted, while improving the performance of facial expression recognition.

人脸表情分析是智能视觉信号处理和人工智能的重要研究领域，然而其研究仍然存在许多问题和挑战, 如人脸表情识别中局部关键点定位、系统的全局学习、自发表情数据缺乏、表情识别鲁棒性等问题。针对这些问题，本项目从特征表示、局部区域选择和表情识别角度出发，结合集成学习、深度神经网络、稀疏学习、生成对抗神经网络等理论，深入研究基于多深度网络融合和生成对抗网络的人脸表情识别与合成方法，主要集中在：1）针对联合局部区域选择和表情识别的面部表情特征学习问题，研究基于联合优化的多深度网络融合模型和基于稀疏集成的多深度网络融合模型； 2）针对深度网络训练中增强面部关键区域特征学习问题，研究基于增强深度网络的人脸表情识别方法；3）针对表情数据不足及表情不具自发性，研究基于多区域联合的生成对抗神经网络模型。本项目在提高人脸表情识别性能的同时，能进一步促进多深度模型融合和生成对抗网络的理论研究和应用。

面部表情是人类情感的直观反应，能够有效地表达个人的情绪、认知和主体状态，因此表情分析对于人机交互、公共安全、临床医学等领域具有重要的研究意义。然而，由于诸多因素的影响，导致面部表情识别中存在面部表情复杂、面部关键区域难定位、类内差异大、数据样本不足、类别不平衡等问题。基于此，本课题重点研究了：1）针对面部关键区域难定位问题，将面部表情识别问题转化成基于局部区域的多网络融合问题，通过同时利用面部图像的深层语义信息和低层细节信息，构建全局与局部联合优化模型，提出了基于局部非局部注意力机制的深度面部表情算法，实现了面部局部区域在网络学习中的自动挖掘与特征增强；2）从细粒度面部区域分析的角度出发，利用标签注意力机制和网络梯度特性挖掘面部关键区域，设计了基于标签注意力与领域特征的修正分布网络，实现了面部关键区域细粒度挖掘和表情类特征分布修正，使得同类的特征分布更紧凑且不同类特征分布更疏远；3）针对面部数据不足及类别不平衡问题，通过对深层表征下类间关联性进行分析，构建多区域联合优化，设计了基于类相关性挖掘的生成网络模型，用于生成更有益于提升表情识别性能的数据样本。在项目资助下，项目组在国际期刊及会议上发表学术论文8篇，申请国家发明专利6项，联合指导和培养了2名博士生和9名硕士生。项目研究成果有望推动深度面部表情识别技术的发展，同时促进对多网络融合和不平衡学习问题的研究。