基于深度学习的非正面微表情识别研究

Micro-Expression (ME) is one type of brief, subtle, and involuntary facial expressions, whose duration is often within half a second. It can expose the genuine emotions which people try to conceal. The aim of micro-expression recognition (MER) is to enable the machine to understand these genuine emotions. Based on MER, we can develop lots of interesting and useful techniques, e.g., lie detection. Due to this fact, recently MER has been one of the most attractive research topics in affective computing, human-computer interaction and computer vision. In this project, we focus on one of recent challenging problems in MER, i.e., non-frontal MER and propose a series of effective deep learning methods to deal with non-frontal MER problem. This project has following four major parts: (1) building a large scale multi-view micro-expression database; (2) non-frontal MER based on deep region feature learning; (3) non-frontal MER based on shared attention-based two-stream convolutional networks; (4) cross-view MER based on deep domain regeneration. In addition, this project will focus on the design of deep learning models and its applications to non-frontal MER.

微表情是一种短暂的、微弱的、无意识的面部表情，持续的时间往往在0.5秒之内，能够揭示人类试图隐藏的真实情绪。微表情识别旨在让机器具有足够的智能，能够识别人类的这种真实情绪。基于微表情识别可以开发出很多有趣且实用的技术，如测谎技术等。因此，当前微表情识别已经成为情感计算、人机交互和计算机视觉中一个受到较多关注的研究课题。本项目围绕当前极具挑战性的非正面视角下的微表情识别问题，开展深入的研究，提出面向非正面微表情识别的深度学习系列方法，主要包括以下四个研究内容：（1）大规模多视角微表情数据库的建立；（2）基于深度区域特征学习的非正面微表情识别；（3）基于共享注意力机制双流卷积神经网络模型的非正面微表情识别；（4）基于深度领域再生成的跨视角微表情识别。本项目侧重于深度学习模型的构建及其在非正面微表情识别方面的运用。

本项目围绕表情/微表情数据库构建、微表情特征提取与识别、跨数据库微表情识别等微表情分析中的关键问题开展了深入的研究。在表情/微表情数据库构建方面，构建了两个大规模的真实场景动态表情/微表情数据库SDFE-LV和DFEW，有力地推动了真实场景动态表情/微表情检测与识别研究；在微表情特征提取与识别方面，提出了一种基于稀疏Transformer的时空特征学习网络Sparse Transformer，充分挖掘微表情视频序列的时空信息获取高判别性的微表情特征；在跨数据库微表情识别方面，系统开展了跨数据库微表情识别的研究，构建了学术界首个用于评价跨数据库微表情识别的基准评价协议，同时提出了一系列子空间和深度学习的跨数据库微表情识别方法，有效消除不同数据库之间的微表情特征分布差异，显著提升微表情识别模型的泛化性能。此外，项目负责人还在本项目的支持下进一步拓展了自己的研究方向，开展了与表情/微表情分析关联密切的语音情感识别研究，围绕说话人无关语音情感识别与跨数据库语音情感识别两个问题提出了一系列有效的深度学习方法，提升语音情感识别模型的鲁棒性和泛化性。在项目执行期内，项目负责人共以一作/通讯身份发表与本项目相关的学术论文17篇（均标注项目号61902064），其中SCI期刊论文10篇（IEEE汇刊论文3篇）、CCF会议论文7篇（CCF A类会议论文1篇）、1篇论文入选ESI高被引论文；以第一发明人身份授权国家发明专利3项；超额完成了项目拟定的预期目标。