基于光学成像的情绪脑模式识别关键技术研究

Emotion recognition is the key node of affective computing in intelligent human-computer interaction，and it is the fundation of both emotion monitoring and BCI-based emotion regulation training. Functional near-infrared spectroscopy (fNIRS) is a novel non-invasive brain imaging technique. In this project, we propose to use fNIRS for brain-based emotion recognition including real-time visual-localization, denoising, feature-extacting, classifier-training. Moreover, benifited from advantages of fNIRS, such as low cost and good ecological validity, we will accomplish validation of the emotion recognition model using a large sample.

情绪识别是人机交互智能化中情感计算的关键环节，是情绪监控、基于脑-机接口的情绪调节能力训练等情绪识别应用领域的基础。近红外光学脑成像（fNIRS）是一种实用性很强的非侵入式神经活动观测技术。本研究拟开展基于近红外光学成像的情绪脑模式识别关键技术研究，具体包括实时可视化定位、噪声滤除、特征提取、分类器训练等核心部分。同时，本研究借助fNIRS成本低、生态效度好等优点，完成大样本量情绪识别模型验证性研究，并最终建立可靠的情绪脑模式识别模型。本研究是信息科学与认知神经科学深度交叉的创新工作。

情绪识别是人机情感交互过程中的重要环节，它是机器理解人类情感的第一步。本项目采用近红外光谱脑成像技术进行情绪识别研究。首先，我们针对fNIRS成像过程中的定位与噪声的两大问题进行研究。在定位方面，我们提出快速10-20脑区定位方法。在噪声方面，我们提出空间滤波的浅层噪声去除方法。为利用fNIRS开展情绪神经机制与情绪解码相关研究奠定了技术基础。在此基础上，我们采集了相隔三周的fNIRS情绪重测实验数据，并对此进行多尺度的重测信度研究。研究发现在群体层面中较大尺度的结果是重测可信的，同时也发现个体结果中单通道尺度的响应结果不够稳定。该研究弥补了fNIRS情绪研究中可靠性问题的空白，是得到可靠的fNIRS神经解码模型的基础。在重测数据的基础上，我们开展了特征提取与选择和分类器构建的研究。通过尝试多种分类特征，我们发现在情绪数据上HbO信号的均值特征相对于方差、偏度、偏侧化指标等特征更加稳定。选用LDA算法构建分类器，最终个体上平均准确率达到82%，群体上平均分类准确率达到73%，结果优于大多数fNIRS情绪识别研究。在此基础上，我们针对情绪识别的不稳定性问题进行研究。结果发现：在session间推广时，情绪识别分类器的平均测试准确率下降达到22%。这说明情绪识别的不稳定性确实存在，并且会极大程度的影响分类器推广性能，这是fNIRS情绪识别领域急需解决的一个问题。理论原因可能是传统模式识别中特征选择一般只将特征的可分性作为选择标准。因此针对该问题，我们创新性的提出将稳定性也作为特征选择的标准。采用KL散度来评价特征的稳定性，通过稳定性指标与可分性指标的加权平均来选择最优特征。通过对权重的寻优以期找到稳定性与分类性能的平衡点。该方法将情绪识别分类器性能的恶化降低至5%，有效的降低了不稳定性影响。最后，为了情绪识别大数据以及特殊人群上的推广研究，我们提出一套多刺激模态、多情绪类型、多分类参数的情绪在线识别系统。该软件有望在未来的fNIRS情绪研究中具有更多的应用价值。