基于VR场景与多生理信号交互的情绪识别研究

Emotion recognition is a new field of emotion research along with the development of computing technology and human machine interaction technology. As physiological signals are correlated with human emotion and can hardly be masked，recognizing emotions based on physiological signals has become a research hotspot in recent years．Lacking ecological validity, poor sense of reality, and less interactivity are existing problems to induce emotions in traditional methods. Also, information fusion based on multi-channel physiological signals will bring redundant information and big noise, which have become nasty solvable problems. This project is intended to apply Virtual Reality (VR) technology to design various Virtual scenes. Taking the advantage of immersive experience, we expect to set up a corresponding relationship between VR senses and emotions. Then, we can induce related emotion precisely and rapidly, in order to obtain relatively objective multi-channel physiological signals, including electroencephalogram (EEG), electromyographic signal (EMG), heart rate (HR), and skin-temperature (SKT), with lower noisy. Meanwhile, based on Deep Belief Network and multiple kernel rough fuzzy clustering theory, provide an innovative solution to the problem of heterogeneity, redundancy and noise problem in the process of muti-feature fusion. During this process, a new emotion recognition and VR scene interaction model will be developed. This project has clear ideas and extensive application prospect. It can also provide a new thought in building VR emotional scene database in future.

随着计算技术和人机交互技术的发展，情绪识别成为情绪研究的新兴领域，而人体生理信号与人的情绪存在某种内在的联系，且相对客观、不易伪装，基于生理信号的情绪识别成为近年来情绪识别研究的热点。传统情绪诱导材料存在生态效度低，真实感不强和交互性差等问题，同时，多源生理数据的融合带来信息冗余和噪声大，成为情绪识别研究中的亟待解决的技术难点。本项目拟借助虚拟现实（VR）技术，利用其沉浸式体验，尝试建立虚拟场景与情绪的对应关系，快速准确地诱发受试者相关的情绪，以获得相对客观、低噪声的脑电图（EEG），额肌电（EMG）、心率（HR）和体温（SKT）等多生理数据。同时，提出多核粗糙模糊聚类方法和基于深度置信网络（Deep Belief Network）模型，解决多源数据的异构问题和信息融合中冗余和噪声大等问题，有效提高基于VR场景和多源生理信号交互的情绪识别效果。本研究具有明确的研究思路和广泛的应用。

随着计算机技术和人机交互技术的发展，情绪识别成为情绪研究的新兴领域，而人体生理信号与人的情绪存在某种内在的联系，且相对客观、不易伪装。因此，基于生理信号的情绪识别成为近年来情绪识别研究的热点。传统情绪诱导材料存在生态效度低，真实感不强和交互性差等问题，同时，多源生理数据的融合存在信息冗余和噪声大等问题，这些问题都是情绪识别研究中亟待解决的技术难点。.针对上述提到的问题，本项目重点展开基于VR场景智能交互和多源生理信号的情绪识别研究。发布全球第一个VR情绪场景库，建立基于计算机科学和心理认知科学的VR场景与人体基础情绪的对应关系，解决情绪诱发素材的生态效度较低，真实感不强的问题。本项目提出一种基于易经思想的优化算法，解决多源生理大数据建模中的参数优化问题。本项目提出了一种将图卷积结构嵌入宽度学习的新型网络结构--图宽度卷积网络（GCB-Net），这种新型结构在脑电情绪识别上有明显优势。提出了一种基于宽度学习的面部表情识别方法，能够大大减少系统的计算量，达到实时性效果。本项目建立了一套跨数据库面部微表情识别任务的评估标准，并基于两个公开的微表情识别数据集建立一个标准化评估平台，能够用于评估跨数据面部微表情识别的模型，且基于改标准化评估平台提出新颖的跨数据库微表情识别学习方法。项目还提出了一种基于非结构化文本数据的情绪评估模型，通过语言模型建立文本情感分析与理解，建立多任务双向内容级别的编码模型，并利用宽度学习的优点，进行在非线性宽度空间进行神经网络自主随机搜索适合的增强节点数量，实现情感状态评。.发表相关论文18篇；指导硕士/博士研究生10人；申请发明专利16项；发布VR场景库1个。本项目最终搭建了基于VR情绪场景库的情绪识别体系，从而为游戏开发、健康监测、情感计算等应用提供了可用途径。