融合条件随机森林与卷积神经网络的非约束环境人脸表情识别研究

Facial Expression Recognition in Unconstrained Environment (FERUE) makes computer understand human emotions under natural conditions possible, Hence, it has important scientific significance and application value. However, large intra-class variation and the lacking of large training dataset remain FERUE challenging. The key idea of this research for FERUE is to reduce the intra-class variation by dividing the entire expression sample set into several sub-sets, such that the intra-class variation in each sub-set will be much smaller than that of the entire sample set. First, the FERUE problem is modeled by conditional random forests. Then, convolutional neural networks are embedded into decision tree for adaptive sub-set dividing. Finally, convolutional neural networks are fused with random forests for expression representation learning and expression classification in each sample sub-set. The research results of this project will effectively promote the application of facial expression recognition in analyzing the cognitive and affective state of children with autism, and detecting the cognitive and emotional states of students.

非约束环境人脸表情识别赋予计算机在自然条件下理解人类情感的能力，具备重要的科学意义与应用价值。由于当前非约束环境人脸表情识别面临类内差异大的困难和样本规模小的制约，其效果甚不理想。针对上述问题，首先，本项目以划分表情样本子空间为减小类内差异的途径，构建基于条件随机森林的人脸表情识别模型和计算框架；其次，针对模型中的子空间划分问题，将卷积神经网络嵌入到决策树节点中，以自适应方式划分表情样本子空间；最后，在各样本子空间内，融合卷积神经网络与随机森林解决表情表征学习和表情分类问题。在表情样本子空间划分和表情分类时，通过迁移人脸识别领域知识到人脸表情识别领域中的方法来突破样本规模小的制约。本项目的研究将推动非约束环境人脸表情识别研究的发展，研究成果将有助于推进人脸表情识别在孤独症儿童认知心理状态分析、学生认知状态及情感状态检测中的应用。

项目围绕非约束环境下的人脸表情识别问题，针对降低非约束环境下人脸表情识别由于头部姿态、不同个体等因素带来的类内差异展开了研究，研发了基于条件随机森林和差分卷积神经网络的高精度、鲁棒的人脸表情识别算法。一方面，针对头部姿态带来的人脸表情类内差异，研究了基于3D-2D特征点匹配的头部姿态估计算法，并以头部姿态作为隐含条件划分人脸表情识别子空间，提出了基础条件随机森林的人脸表情识别方法。此外，探索了正面人脸的合成方法，将侧面的人脸校正为正面人脸以降低头部姿态带来的类内差异，然后进行表情识别。另一方面，针对不同个体带来的人脸表情类内差异，研究了基于深度差分特征和基于自差分卷积神经网络的人脸表情识别方法。基于深度差分特征的人脸表情识别方法从序列图像中检测同一个体的表情峰值帧和中性帧，并峰值帧和中性帧的深度差分特征来降低不同个体带来的表情类内差异。进一步，自差分卷积神经网络利用条件生成对抗网络从单张人脸表情图像合成同一个体的各种表情图像，然后计算输入图像与合成表情图像的差分特征来有效减低类内差异。在公开数据集和自行采集的数据集上对所提出的方法进行的实验结果表明，通过降低头部姿态、不同个体等因素带来的类内差异可以有效提高人脸表情识别精度和鲁棒性。