基于立体宽视野脑功能成像技术的跨通道情绪识别脑机制研究

As known, emotions determines the physiological conditions and living style. However, the The physical carrier of the map and neural mechanisms is still a significant blank. Aiming at the scientific puzzle of human emotions’ brain Mechanisms, the applicant , who based on the channel paradigm of cross feeling, feature signal of the single channel and the feature brain regions, this work studied brain mechanisms that employ EEG technology to identify feature signal related to mood (time-frequency analysis), and network models that employ functional magnetic resonance imaging (fMRI), and further calculate fusion models of EEG-fMRI multi-modalities. This project includes three-fold studies: 1) the study of the feature signal for audiovisual cross-modal emotion recognition, and the neural mechanisms model 2) the study of brain mechanism for visual auditory cross-modal integration of emotion recognition and attention , and 3) the study of EEG - fMRI multi-modalfusion models. This study will build a data base for illustrating multi-modal emotional expression and recognition mechanism, and reconstruction of brain images, then provide theoretical basis for multi-channel emotion recognition in the field of artificial intelligence research.

情绪决定了人类的生理状况和生活状态，但是其物理载体和神经机制目前仍然存在着诸多理论空白，针对人类情绪的大脑机制这一科学谜题，申请人在前期基于宽视野脑功能成像技术进行的面部表情识别研究的基础上，拟提出采用立体宽视野成像技术、fMRI、EEG、等技术手段揭示视听跨通道多感觉整合脑机制；准备深入研究视听觉对人情绪的影响以及他们的相互作用，突破立体宽视野脑功能成像技术、考察视野和情绪识别的关系，并构建情绪识别计算模型。本项目拟开展的研究工作主要包括以下三方面：1）视听觉跨通道情绪识别的整合脑机制研究。2）立体宽视野的情绪识别的神经机制。3）视听觉跨通道情绪识别特征信号与时间变化的脑电网络。本研究将为多感觉信息整合与情绪大脑机制的解明、立体图像的识别提供基础研究数据，进而为神经疾病的诊断治疗提供了理论基础与实践依据。

情绪决定了人类的生理状况和生活状态，但是其物理载体和神经机制目前仍然存在着诸多理论空白。目前，缺乏针对立体大范围视野认知的跨通道情绪信息的整合机制的研究，以及情绪信息加工随时间变化的动态模型。.本项目利用立体宽视野成像、EEG和fMRI多个技术手段，采用视觉与听觉实验刺激，以及带有高兴、中性和悲伤三种表情的卡通面孔图片，对视听觉整合与情绪识别脑机制进行了主要探究。实验采用多类型研究群体，分析年龄、性别与健康程度对情绪识别脑机制差异。基于时间变化的相位滞后指数和图论方法相结合，计算每个时间点的电极间相位同步性变化，构建随时间变化的功能性脑网络，检测脑网络的毫秒级别瞬变过程。基于复杂网络的图论方法中小世界性网络的阈值选择方法，分析不同阈值下的脑网络拓扑结构，计算网络属性，研究功能整合和功能分化的能力；构建不同认知过程的动态脑网络，通过聚类系数、局部效率等这局部属性的变化趋势度量脑功能分化程度，通过特征路径长度、全局效率等这些全局属性的变化趋势度量脑功能整合程度。结果揭示了视听整合过程中beta波段活动的功能连接增强会影响视听觉整合性能；高兴与悲伤情绪在在theta和alpha频段激发出更强的响应，且具有明显的性别差异，女性在进行情绪识别处理中，全脑在alpha频段诱发了更强的时频能量和功能连接；对于男性参与脑区相对较少，其中主要激活枕区。.本研究将对于多感觉情绪信息整合的神经机制进行大脑定位和建模，对于探索大脑网络的神经机制具有较高的理论价值，对于解决神经性疾病具有重要的参考意义。