面向不同数据质量的多模态生理情感数据融合降维方法研究

The objectivity of autonomic nervous system activity in emotional expression makes the physiological signals become an important clue in emotional recognition. However, in practical applications, physiological data usually do not have better data quality and structure, which makes data fusion and emotional recognition based on multi-modal physiological signals are difficult to effectively carry out. In this project, we propose a multi-modal physiological data fusion technique in emotion recognition to resolve the problems on data missing, affective data noise and insufficient samples. We focus on the consistency and complementarity between multimodal physiological signals, which can be used to extract the associated features. The contents of this research are as follows: (1) under the complete data scene, the supervised information of emotional label is used to explore the discriminative feature space of multi-modal data; (2) the correlations of the inter-class and intra class are utilized to propose an emotion recognition method in the face of data missing; (3) for the noise in affective data, the redundant code model of the emotion label is established to enhance the robustness of the recognition system; (4) for the insufficient samples, the transfer learning is used to improve the generalization ability of emotion recognition system by capturing the prior knowledge from source database. This project will improve the adaptability of physiological signals in multi-modal data fusion, and provide theoretical basis and technical support for human-computer interaction.

自主神经系统活动在情感表达上的客观性，使生理信号成为情感识别中一条重要的线索。然而，实际应用中，生理数据通常不具备较好地数据质量与结构，使得多模态生理信号在数据融合和情感识别上难以有效开展。本项目针对多模态情感生理数据中存在的数据缺失、噪声干扰和样本量不充足等问题，提出基于多模态生理数据融合的情感识别技术，重点研究多模态生理信号之间的一致性和互补性，及由此产生的关联特征的提取方法。具体研究内容如下：（1）完整数据场景下，利用情感标签监督信息，寻找多模态数据可判别的情感特征空间；（2）利用样本类内与类间相关性，构建容许有样本缺失的情感识别方法；（3）对噪声数据，建立情感标签的冗余码模型，增强识别系统的鲁棒性；（4）针对小样本数据，利用源数据库的先验知识，研究适用于生理信号的迁移学习方法，提高情感识别的泛化能力。本项目将提升生理信号在多模态数据融合上的适应性，为人机交互提供理论基础和技术支持。

由于生理反应在情感表达上的客观性，使得生理信号成为情感识别中最具鲁棒性的线索。受数据质量影响，多模态生理情感数据不可避免地存在数据缺失、噪声干扰与样本量不充足等问题。本项目拟研究多模态生理信号在情感表达上的一致性与互补性，并探索在不同数据质量场景下建立具有鲁棒性的情感识别模型。具体研究内容包括：1）针对多模态生理情感数据，研究基于多视角判别分析的情感识别方法。将多模态生理情感数据看作情感表达的多个视角，通过最大化所有模态下情感数据的类间散度矩阵和类内散度矩阵之比，构造情感判别的通用空间，为多模态情感识别提供有效的情感判别特征。在此基础上，进一步研究多模态生理情感数据深度特征表示，设计基于注意力机制的双向长短时记忆循环神经网络，自动学习生理信号的深度时序表示和对情感判别具有重要影响的信道权重，进而实现多模态情感数据的有效融合。2）利用小样本脑电信号辅助提升基于生理信号的情感识别方法。在样本非成对匹配情况下，使用判别性典型相关分析获取生理特征和脑电特征对于情感标签表达的一致性和互补性，以此构建新的情感判别空间，通过在少量脑电信号的特权信息的帮助下使用判别式典型相关分析将生理和脑电特征投影到情感判别空间中，并构建识别器。3）在数据噪声场景下，研究对噪声鲁棒的情感识别方法。将情感识别问题形式化为通信领域中可信传输问题，借鉴校验码思想，利用偏最小二乘回归方法，设计情感标签的冗余码模型，增强识别系统的鲁棒性。4）针对小样本数据，基于知识迁移理论，研究适用于情感识别的迁移学习方法，提高情感识别的泛化能力。利用Teacher-student模型，设计情感识别任务的注意力图作为知识迁移到情感识别任务中，使用先验知识知道情感识别模型进行学习。相关研究成果发表论文12篇，其中SCI检索3篇、EI检索11篇、核心期刊1篇，参加多次国内外学术交流。研究成果可应用于智能穿戴技术、智慧课堂、智慧医疗等场景，具有广泛的学术意义和应用前景。