面向自然交互的个性化多模态复杂情感识别研究

The current multimodal emotion recognition techniques cannot recognize the subtle and complex emotions in the real life very well, and neither can recognize individuals’ emotions well, thus result in a bad user experience of emotion recognition techniques. Oriented to the demands of natural human-machine interface, this project aims at carrying out experiments to deeply understand the difference between emotion expression and emotion perception; modeling the subtle and complex emotion status in dimensional models; and utilizing the deep neural network to capture the robust and accurate textual, audio and visual features, and improving the performance of multimodal emotion recognition. In light of the personalized emotion recognition, this project aims to use user profile technique to model the different individuals, and constructs DNN-based emotion recognition models according to the user profiles, and finally improves the performance of emotion recognition in the real market. The research results of this project are of great scientific importance to cognitive science, artificial intelligence, and also provide a theoretical and practical basis for the development of national major strategic and related industrial ecosystems, and promote the application of multimodal emotion recognition.

针对目前情感识别研究中无法较好识别自然生活场景中的细微复杂情感，且缺乏个性化情感识别研究，进而导致的情感识别实际应用体验感较差的现状，本项目拟面向人机交互环境和自然交互需求，深入理解情感感知与情感表达的差异性，并在维度情感状态空间对几种典型情感和自然条件下的连续复杂情感进行准确建模，采用深度神经网络等机器学习方法对情感进行融合情境上下文的多尺度时序建模，构建可靠鲁棒的基于文本、音视频的多模态情感识别；进一步，针对不同人情感表达的差异性，本项目采用情感用户画像技术以及迁移学习技术，对用户群体进行建模，构建个性化的多模态情感识别模型，最终提高情感识别实际应用时的性能。本项目的研究成果将对认知科学、人工智能的发展起到重要的科学意义，也将能够为国家重大战略需求和相关产业生态链的形成奠定理论和技术基础，促进多模态情感识别和理解的实际应用。

本项目拟面向人机交互环境和自然交互需求，对自然条件下的连续复杂情感进行准确建模，采用深度神经网络等机器学习方法对情感进行融合情境上下文的多尺度时序建模以及基于大数据的用户建模，构建个性化地可靠鲁棒的基于文本、音视频的多模态情感识别系统。.主要研究成果包括：1）多模态情感语料库：建立了一个包括面部表情、生理数据、语音数据的多模态复杂情感数据库，并针对情感感知模糊性，提出了基于深度学习的情感时序多标注学习方法和多语音数据库自动优化方法；2）基于自然口语的情感识别：提出了基于半监督学习的情感识别模型，并通过区分性训练、对比损失函数等方法构建了准确的情感识别算法；提出了一种融合上下文信息的多模态情感识别方法和基于未来观测预测的无监督特征学习方法，提高了情感长时建模的准确性；提出了基于注意力机制和时空多通道的情感识别方法；3）面部表情识别：提出了基于局部区域和区分性视频表示的表情识别方法，提升了识别精度，并对情感认知和理解提供重要参考；4）多模态情感识别：构建了基于Transformer以及基于域对抗训练的准确多模态情感识别方法，端到端多模态情感识别系统以及多模态抑郁情绪识别系统；5）融合个体差异的情感识别：提出了基于K-means的不定值聚类用户建模方法以及个性化情感识别算法。.在本项目支持下发表领域内顶级期刊和会议论文四十余篇，申请专利7项。完成并发布1项国内技术标准。培养的学生中，多人获奖学金，1人获最佳学生论文奖，2次获国际情感识别竞赛第一名，以及2018、2021年中国电子学会技术发明一等奖。项目组还承办第一届亚洲情感计算与智能交互会议ACII Asia 2018。.基于本项目构建的多模态细微情感分析与识别系统在公共安全、医疗健康、人机交互等领域中获得重要应用，产生了良好的经济和社会效益。