基于深度学习的微表情检测和识别的研究

Micro-expressions are fast leaked facial expressions which may be the clues to lie detection. We will conduct a cross-disciplinary study of psychology and computer science on micro-expression. We employ a novel experimental paradigm in psychology to elicit micro-expressions in the condition of masking and enhances the ecological validity of samples. Micro-expressions are captured by a high-speed camera and a Kinect camera synchronously and establish a semi-restricted micro-expression database. This project optimizes input channels of the deep network with the consideration of the color space. We will speed the network with the improvement of convolution algorithms. With further understandings of the recurrent neural network, we will deal with the temporal information of micro-expression videos. We also use the deep network to fuse videos and 3D point clouds with Kinect to obtain better performance. This project is to gain breakthroughs on theories and key techniques in micro-expression detection and recognition, and enhance the robustness of the performance. Specifically, we try to deal with the problem of small sample sizes in deep learning.

微表情是一种快速泄露的表情，它是用来测谎的重要线索之一。本项目将开展心理学与计算机的交叉研究。我们使用新的心理学实验范式，在掩饰的条件下诱发微表情来提高样本的生态效度。使用高速摄像机和kinect同步采集数据，建半约束的微表情数据库。本项目通过对彩色空间的研究来优化深度网络的输入通道；通过对卷积近似算法的研究来加速网络的计算；通过对迁移学习的研究，解决深度学习处理微表情检测和识别时遇到的小样本问题；通过对递归神经网络的研究，处理微表情视频的时序信息。同时，本项目也研究深度融合网络，对微表情的视频和kinect生成的三维点云进行有效的融合。项目完成后，将在微表情检测和识别领域取得理论和关键技术的突破，提高微表情检测和识别的鲁棒性。在理论上，争取对于用深度学习处理小样本问题上实现理论突破和原始创新。

微表情是一种快速泄露的表情，它是用来测谎的重要线索之一。但因微表情数据诱发比较困难且微表情数据标注耗时耗力，导致了微表情数据的小样本问题。针对深度学习中的微表情小样本等问题，本项目构建了具有较高生态效度的深度微表情数据库CAS(ME)^3；搭建微表情编码分享平台，提出了一个微表情简明标注指南；提出一种诱发高生态效度微表情的范式。针对基于深度学习的微表情识别，提出两步迁移深度学习的微表情识别方法和提出了基于多任务中级特征个性化学习的微表情识别。针对基于深度学习的微表情检测，提出一种在长视频中多尺度检测微表情片段的卷积神经网络。在项目的过程中，我们也产出了2个发明专利和5个软件著作权。我们还获得了第八届吴文俊人工智能科学技术奖（自然科学类）一等奖。另外，我们连续四年举办并主持了微表情国际挑战赛，受到了国内外学者的广泛关注。同时，我们定期举行云上微表情系列讲座活动.目前已举办24期，共邀请43位讲者，超过1200位听众参与，B站视频播放次数超过6500次，极大地推动和促进了微表情的发展。