面部微表情精细化动态特征描述机制及自动识别技术研究

Facial micro-expressions are rapid involuntary facial expressions which reveal suppressed affect. Facial micro-expressions reflect the true feeling and emotions of human. Facial micro-expression recognition could be applied to security, justice, healthcare, education and so on, especially for early warning of dangerous behaviors having important guiding significance to the national security. Since the human recognition accuracy is so low, and alternative method for recognizing facial micro-expressions would be valuable, that is automatic facial micro-expression recognition, to promote the recognition accuracy and validity. The major challenges in recognizing facial micro-expressions involve their very short duration and involuntariness, with weak intensities. Therefore, the dynamic feature capture and effective description for facial micro-expressions are the key problems in facial micro-expression video processing. The project takes consideration of the integral design of automatic facial micro-expression recognition system, on the basis of facial action unit (AU) analysis, to establish the dynamic feature description mechanism and automatic recognition model for facial micro-expressions. By extracting facial static texture features and dynamic texture features, fine features based on the changes versus time dimension are proposed for characterizing facial micro-expressions. Deep learning and rule-based classifier are utilized to identify AU automatically, and finally facial micro-expression classification is realized by progressive classifier.

面部微表情是人类试图压抑或隐藏真实情感时所流露的非常短暂、不能自主控制的面部表情，是反映人类真实情感的有效线索。微表情识别被广泛应用于安全、司法、医疗、教育等领域，尤其对于危险行为预警等国家安全方面有重要的指导意义。然而人类识别微表情的自然能力非常弱，且人工分析过程费时费力，因此研究微表情自动识别技术，提高微表情识别的精度和效度非常必要。微表情持续时间短、变化强度小，对视频中的面部动态化特征进行捕捉和有效描述是进行微表情识别的关键。本项目拟从微表情自动识别系统的整体设计架构出发，以面部运动单元（AU）分析为基础，建立微表情精细化动态特征描述机制和自动识别模型。通过提取面部微表情的纹理表征、基于时间维度的变化特征等，对微表情进行精细化、动态化描述，并采用深度学习和基于规则的分类器对AU进行自动识别，利用基于递进分类的规则实现微表情自动识别，从而建立以AU识别为基础的微表情计算机自动识别系统。

本项目从微表情情绪表征的精细化动态描述和自动识别出发，开展了基于面部动作单元的动态特征提取及自动识别、基于动态稀疏表达的面部微表情特征表达及自动识别、以及基于关联规则递进分类的微表情自动识别等研究。针对微表情持续时间短、变化强度小等特点，从时空域结构扩展、多层级融合学习等角度提取视频序列中面部表情的微小变化进行精细描述，对空间纹理特征和时序动态变化特征同时进行表达；利用生成网络设计、迁移学习、深度网络进化自优等方法解决样本量不足、深度网络调参主观性强工作量大的实际问题，增强深度学习模型的自学习能力和泛化能力；利用图保持稀疏约束、面部属性辅助增强等策略处理图像序列的动态特征提取和稀疏表达问题，利用辅助任务间的交互及隐含信息增强主任务分析性能，丰富面部信息从而增强面部特征的判别性；采用数据驱动方式研究表情激发的面部动作单元发生规律，并建立表情关联规则实现基于递进分类的面部微表情自动识别新模式。.研究表明以面部肌肉运动特点对微表情状态进行描述具有较好的可行性，一方面面部肌肉运动是对表情生理反应的客观表达，而表情是人类情感的心理反映，生理和心理的交叉研究可以更好的理解人类情感的发生机制；另一方面通过建立面部动作单元和表情之间的映射关系，可以实现情感类型的自扩展，而无需耗费额外的模型训练成本和训练样本。本项目的研究为实现智能情感理解系统提供了新思路和新技术，后续将深入研究面部动作单元与表情之间的内在联系，为实现情感智能分析的终身自学习提供可能。.通过本项目研究，取得的主要成果为：1、建立面部微表情时空多层次动态特征提取和自动识别模型；2、建立基于数据增强和模型自优化的深度学习模型并用于面部动作单元识别；3、发表学术论文25篇，其中SCI论文16篇，EI检索8篇，核心期刊1篇；4、获得2020年北京市科学技术协会“北京地区广受关注物联网领域学术成果”奖；5、申请技术发明专利5项，其中授权3项。