头戴式虚拟现实条件下基于耳道脑波信号和深度学习模型的情绪识别研究

Unlike traditional scalp EEG, in-ear EEG are EEG collected inside the ear canal. It only has single channel signal and thus cannot reflect the changes of activities in multiple brain regions. However, due to the advantages in data collection, easy wearability, and strong anti-artifact ability, in-ear EEG-based BMI application research has huge commercial potential. Therefore, since the proposal of Professor Mandic of Imperial College of England in 2012, its research has attracted much attention worldwide. Currently, many application fields dominated by traditional EEG have begun to transform into in-ear EEG, such as sleep monitoring. However, due to the short research time in the field of BMI, there are still many problems to be solved in terms of pre-processing methods, feature extraction methods and the underlying neural basis of emotional expression. Therefore, some widely-accepted methods of traditional EEG signal processing might not be suitable for in-ear EEG. This project takes emotion recognition (ER) as the research object, and proposes to leverage the powerful feature extraction ability of deep learning model to explore the in-ear EEG-based unique features that traditional EEG may not possess, and evaluate the feasibility of the ER model in non-static scene in daily life. Our goal is to：1) achieve a optimized ER model for in-ear EEG based on the comparison of with/without signal pre-processing;2) further improve the theoretical basis and signal processing methods for in-ear EEG, through the comparative study of itself and scalp EEG, ultimately making a further step for a better technology that can recognize emotion in a simple way.

耳道脑电波是在耳道内部采集到的脑电波。虽然其通道数较少，无法反应多个脑区的活动变化，但是由于具有采集方式简单、易于穿戴，以及较强的抗伪迹能力等优点，基于耳道脑波的脑机接口研究具有巨大的商业潜力。因此，自2012年其概念提出以来，已有不少由传统脑电主导的应用研究开始向耳道脑电转变。然而，由于其在预处理方法、特征提取方式及情绪表达的神经机理等方面都还有很多问题有待研究，因此一些被广泛接受的脑电信号处理方法对耳道脑电并不一定适合。本项目以情绪识别为研究对象，提出利用深度学习模型探索耳道脑波中可能蕴藏着的独有的情绪特征，并评估该模型在基于虚拟现实技术的非静态环境中的可行性，旨在: 1)通过有/无预处理的比较性研究，实现一个最优的耳道脑波情绪识别模型; 2) 通过耳道和头皮脑电的比较性研究，进一步完善耳道脑电的理论基础和信号处理方法，为实现一个更加便捷的情绪识别技术做出有益的探索。

该项目原计划利用耳道脑电波和人工智能模型来研究虚拟现实条件下的情绪识别问题，但是预研结果显示耳道脑波噪声较大，不利于在自然状态下提取情绪特征。但经过实验，我们发现了一种独特的近耳脑波特征用于识别VR头显引起的典型的焦虑症状（视觉诱发的晕动病），其反应为恶心，紧张，出虚汗，和头疼等。考虑到 VR 头显在沉浸式医疗中的应用，缓解这个问题尤为紧迫。因为，虽然VR身临其境的体验可以为疼痛等情况提供镇静效果，为认知增强等应用提升专注度，但对某些易感人群而言，那种晕动症引起的恶心，令人非常不快。这种副作用时常会抵消VR医疗应用的治疗效果。于是，该项目还进一步探索了一种非侵入式经颅神经调节方法，通过掩盖来自前庭系统（身体的平衡机制）的假想自我运动的感觉来减轻晕动焦虑症，而无需重新设计现有的 VR 内容。具体来说，该项目通过人工智能方法的协助，在近耳的大脑左顶叶发现了一种独特的神经活动模式，它是我们人类前庭网络的一部分，与VR晕动焦虑症的严重程度直接相关。为了抵消这种大脑活动，该项目通过神经调节技术设计了一种完全相反的脑活动调节参数，来阻止症状的出现。 实验结果表明，使用神经调节技术（电流）直接操纵大脑活动可准确和快速缓解VR晕动焦虑症。该项目取得的关键数据是，经颅交流电刺激在开机后第三分钟即可出现缓解效应，且该缓解效应可持续十五分钟。其科学意义重大，因为这意味着该项目所发现的近耳脑电神经行为模式（即，左侧颞顶叶结合部和左侧顶岛前庭皮质部的脑波频率谱）与视觉诱发的晕动病之间有着明确的因果关系。因此，该项目不仅利用人工智能发现了用于识别VR条件下焦虑情绪的近耳脑波特征，而且还通过新颖的神经调节技术严格验证了它们之间的因果关系。这很有可能为我国的前庭医学和前庭康复领域提供重要的参考，毕竟在世界范围内，自从1914年罗伯特巴拉尼因对前庭外周系统的贡献而获得诺贝尔医学奖后，关于人类前庭的研究就缺少一些因果性的探索，尤其是关于大脑前庭皮层的因果性的探究。