基于多模态情感识别的人机交流氛围场建模方法

Modeling of communication atmosfield in Human-Robot Interaction (HRI) based on multi-modal emotion recognition is studied in this project, which is especially applied in many humans to many robots interaction. Multi-modal emotional cues such as speech, facial expression, and physiological signals are considered, in which the emotional features that highly reflect human emotion and communication atmosfield are determined by correlation analysis based on the emotion psychology. Moreover, emotional feature extraction of multi-modal cues is studied, including dimension reduction of emotional features of speech based on Principal Component Analysis, emotional feature extraction of dynamical facial expression using Difference Calculation, and emotional feature extraction of physiological signal using Fisher method. Two-level information fusion including feature-level fusion and decision-level fusion is employed to integrate multi-modal emotional cues, where human emotion recognition based on Fuzzy Inference and D-S Evidence Theory is presented. A model of communication atmosfield in Human-Robot Interaction based on Fuzzy Analytic Hierarchy Process is proposed, in which how to calculate contribution weights of human beings and robots to the communication atmosfield is the main task. By studying this project, it will provide a novel method that combines multi-modal emotion recognition with communication atmosfield modeling for facilating casual communication in HRI. Furthermore, it will open up new ideas and new directions of Affective Computing, which will be of important scientific significance and research value for promoting intelligent robots as well.

本项目针对多人对多机器人的交互过程，研究一种基于多模态情感识别的人机交流氛围场建模方法。充分利用包括语音、面部表情和生理信号等多模态情感信息，结合情感心理学知识，通过关联分析确定反映人类情感和人机交流氛围场的情感特征信息；研究基于主成分分析方法的语音特征信息降维处理、基于差分计算的动态面部表情特征提取和基于Fisher方法的生理信号情感特征提取；采用基于特征级与决策级信息融合的两级融合结构，融合反映人类情感的多模态情感特征信息，提出基于模糊推理和D-S证据论证的人类情感识别方法；通过对人类和机器人情感状态影响交流氛围场的权重计算，建立基于模糊层次分析法的人机交流氛围场模型。通过本项目的研究，将为人机交互提供一种结合多模态情感识别和氛围场建模的全新方法，开辟情感计算研究的新思路和新领域，对促进机器人的智能化具有重要的科学意义和研究价值。

本项目针对单模态情感识别、双模态情感识别、氛围场建模、基于多模态情感识别的人机交互系统等方面展开了深入的研究工作。.在多模态情感特征提取方面，我们将语音情感特征分为个性化与非个性化语音情感特征，通过相关性分析和Fisher准则线性判别方法实现特征降维；提出基于2D-Gabor小波变换与LBP算子的面部表情特征提取方法，并采用主成分分析法实现特征降维；提出基于变分模态分解与小波变换结合的多尺度分析的脑电特征提取方法，并通过相关性分析剔除冗余特征。.在情感识别方法方面，提出基于决策二叉树超限学习机的情感识别方法，并成功应用于语音情感识别和面部表情识别；提出基于栈自编码网络和支持向量机的脑电情感识别方法，能够有效处理结构复杂的脑电数据，减小样本之间的差异；提出基于改进大脑情感学习模型的情感识别方法，有效地提高情感分类的准确率和速度。.在家居环境下氛围场建模方面，提出基于模糊氛围场和模糊层次分析法的交流氛围建模方法，针对以声音为主导的场景，利用实时语音信号中的音量、语速、音高和时长的值动态计算交流个体影响交流氛围的权重大小，实现了模糊氛围场模型中交流氛围状态的动态调节；提出基于视觉信息的氛围场建模方法，充分考虑包括灯光、墙壁、家具等物品的颜色、光亮强度、纹理等特征信息；提出基于视听信息的氛围场建模方法，着重研究家居色彩特征信息和背景音乐特征信息与氛围场之间的关系。.在基于多模态情感识别的人机交互系统方面，本项目从硬件结构、网络架构、功能模块、应用场景等方面展开设计。人机交互系统层次结构分为四层，自下而上分别为硬件层、物理接口层、数据信息处理层和交互应用层。人机情感交互由情感识别、情感理解和机器人的情感表达组成，其中多模态情感交互包括语音情感交互、面部表情交互、手势交互等。.本项目的研究为促进“以人为中心”的人机自然、和谐交流，实现具有情感交互能力的新一代智能机器人提供了新思路和新方法，具有重要的科学意义和应用价值。