图片刺激前后脑电特征的耦合关系及在脑机交互中的应用

Image Categorization systems based on Brain-Computer Interface(BCI) decoded images' categories(human faces, buildings, cats and cars) using event-related potential(ERP) measured when subjects were viewing images.However, single-trial ERP sometimes showed low-level correlation between ERP features and stimuli, i.e. uncertainty problem of ERP. Previous research have shown that pre-stimulus spontaneous electroencephalograph(EEG) reflects the summation of the synchronous activity of thousands or millions of neurons in the absence of an explicit task, which may also modulated ERP potentially. The proposed projecct would investigate the relationship between pre-stimulus spontaneous EEG and post-stimulus ERP.The aim of this proposed project was to improve four-category images classification systems based on brain-computer interfaces utilizing the coupling model of pre- and post-stimulus. To accomplish this aim, we will 1) study the extraction and presentation of ERP features, and define the pre-stimulus EEG features that lead to the variation of ERP features; 2) establish a coupling model between pre-stimulus EEG and post-stimulus ERP; 3) improve the BCI-based image classification system using the coupling model, including a close loop method for stimulus image presentation and a classifier ensemble methods. The finding of this proposed project would contribute to clarifying the formation mechanisms of visual information related ERP, and promoting the stimulus presentation strategies with close loop model, and improving the overall performances of ERP-based BCI systems.

基于脑机交互（BCI）的图片分类（人脸，动物，建筑，汽车）研究利用图片刺激的事件诱发电位（ERP）信号解码图片类别。然而单次ERP特征存在不确定性，单次ERP与刺激信息的相关性有时较低；而刺激前脑电与刺激后ERP信号存在潜在的耦合关系，这点却在BCI极少被研究。本课题的基本思路是从刺激前脑电预测ERP特征的分布，建立刺激前后脑电的关联模型，在BCI系统中设计闭环的刺激呈现与分类器集成方案。具体研究内容：1）图片类别相关ERP特征的提取与表达，并从刺激前脑电中寻找ERP不确定性的诱因；2）建立刺激前自发脑电与ERP分类特征的耦合模型；3)利用刺激前脑电改进图片分类的BCI系统，设计根据自发脑电分析结果适时呈现图片的闭环刺激方案并且动态选择个体分类器的分类器集成方案。本课题研究成果有助于阐明视觉认知相关ERP的产生机制，为改善基于ERP的BCI系统与设计新型的图片分类与检索系统提供参考。

图片分类脑机交互系统根据被试观看图片刺激时的脑电ERP解码刺激图片的类别信息。本项目根据图片刺激前脑电状态对于刺激后ERP特征的预测效果，进一步研究单次图片（人脸、动物、建筑、汽车）刺激前脑电瞬时相位与刺激诱发的ERP分类特征之间的关系，进而揭示单次国资片刺激ERP分类特征的变化规律。本项目通过小波分析提取了刺激前各个时频点的EEG相位信息，并且采用相位分叉指数这一参数来衡量刺激前EEG瞬时相位和ERP幅度的锁相关系。结果显示ERP成分中的N1（N170）成分随着EEG瞬时相位的震荡而波动，并且刺激前300毫秒、5.3赫兹时频点的相位对N1（N170）特征分类的影响。利用刺激前EEG震荡相位预测ERP特征的分布，并将N1（N170）特征根据刺激前相位进行分组，分别训练个体Fisher线性分类器。进而再利用刺激前相位选择个体分类器实现分类器集成，结果表明分类效果有显著提升。为了进一步提高图片刺激ERP特征的分类性能，在对现有的多ERP成分融合方式进行总结的基础之上，提出采用基于SVM（Support Vector Machine，支持向量机）的多核融合方法融合ERP之间互补的分类信息，并对其在四类视觉图片分类中的效果进行探讨。选取单次实验ERP中的P1，N1，P2a和P2b四个成分，并提取出每个成分的特征，分别建立SVM分类器。对研究结果表明，相比单成分的ERP分类，多成分融合将所有成分核最终融合成一个合成核用于分类，减少了数据的维度，缩短了分类时间。采用多核融合方式最终得到的四类分类的平均正确率高于72%，远高于单个ERP成分的分类效果（最佳的单个成分为N1，正确率为55.07%）。相比于特征融合和决策融合等其他的融合方式，多核融合的正确率分别高出特征融合、决策融合约5%、16%。多核融合更适合实时的基于脑电信号的图片分类系统。