基于脑机接口的情绪识别与交互技术

This proposal studies the noninvasive EEG-based brain-computer interface (BCI) and emotion-based natural human-computer interaction, from three aspects including EEG signal processing, emotion recognition and natural human-computer interaction. At the theoretic level, we study EEG-based neural representation model employing inter-subject correlation of joint temporal-spatial-spectral response pattern for different emotion types, and study the affection of different emotions to natural human-computer interaction. We will also establish standardized emotional video materials with high ecological validity for Chinese population and a physiological dataset of video-induced emotion. At the level of key techniques, aiming at the common characteristics of noninvasive BCI, we analyze the effective EEG features from complex background noise, and propose efficient emotion classification and machine learning methods. At the application level, we study two typical applications: one is open-loop and the other is closed-loop. The open-loop application is emotion-recognition-oriented product experience assessment, and the closed-loop application is human computer interaction for emotion regulation and intervention. The research work in this proposal can help the further development of artificial intelligence and provide the foundation and key techniques for natural human-computer interaction.

本项目从脑电信息处理、情绪识别和自然人机交互三个角度综合研究基于非植入式脑机接口的情绪识别与交互技术。在基础理论层面，通过建立适用中国人群、具有高生态效度的标准化情绪视频材料库和基于视频诱发情绪的生理数据库，探索针对不同情绪类别的、综合多人脑电数据时、空、频响应模式一致性的脑电神经表征模型，研究情绪对自然人机交互的影响；在关键技术层面，针对非植入式脑机接口系统的共性特点，重点分析和挖掘复杂背景噪音下的有效脑电信号特征模式，提出具有高识别率的情绪特征分类和机器学习方法；在应用验证层面，拟研究开环和闭环情景下的典型应用，包括基于脑机接口情绪识别的产品体验评估和面向情绪调节与干预的人机交互，并进一步完善基于脑机接口的情绪识别与交互的理论和方法。本项目的研究工作有望为人工智能的进一步发展和深度应用提供新的切入点，也将为自然人机交互研究提供理论依据和优化方法。

本项目涉及计算机科学、心理学、神经科学等多个学科领域，在理论层面开展包括多种积极情绪在内的情绪状态的神经生理基础研究，发现了大脑前额叶alpha波不对称性在区分正性、负性和中性情绪中的作用以及大脑中线不同频段的功率在区分效价和唤醒度上较为相似的情绪上的作用。采用视听刺激结合诱发情绪的方式，建立了适用于中国社会和文化背景的、具有高生态效度的华语电影和音乐电视视频标准库，包含22段积极情绪视频（81-355秒），涵盖4个大类别（共情、创造、乐趣、价值）和13个小类别的积极情绪，以及312人外周生理数据，弥补了国外标准库无法直接适用于我国被试的缺陷。在技术层面，采用机器学习和模式识别方法，研究了不同脑电通道和电极功能特征之间的关系，将稀疏约束引入动态图卷积神经网络进行建模，同时克服脑电数据分布差异带来的影响，通过长短时记忆网络对序列脑电信号进行序列特征提取，可以学习电极之间的非线性关系，突破EEG信号空间分辨率低、易受干扰等自身限制，提出针对脑电数据特性的实时情绪识别算法，同时开展了情绪识别脑机接口算法研究，展示了基于脑电功能连接微状态的情绪状态解码可行性。在应用层面，建立了沉浸式虚拟实验环境—模拟物流分拣的流水线，探索在此环境下用户进行枯燥任务的情感体验与改善机制。进一步利用虚拟现实和脑机接口技术提出了一种用于关系增强的面对面协同参与互动模型，构建了一个支持广泛社会关系个体（如亲子、情侣、朋友等）共同参与的亲情互动原型系统，能显著提升被试的情感体验、以及感知到的亲密感和亲近度。通过开展真实环境中的实践验证和应用测试，进一步完善基于脑机接口的情绪识别与交互的理论和方法。