脑机接口中的深度脑电特征学习

The performance of brain-computer interface (BCI) depends heavily on the effectiveness of feature extraction and classifier learing. Considering electroencephalograh (EEG)-based BCI, traditionally, the feature extraction in BCI is based on empirical models chosen by human being, and their parameters are determined through training with data. Several important problems exist in such kind of processing structure: 1) Although the features extracted from empirical models have proven to be effective in applications, the optimality is not guarenteed; 2) Due to the low signal-to-noise ratio and highly non-stationary characteristics of EEG signal, and the substantial difference of subjects in the spatial and temporal patterns of their EEG signals, the stability and consistency are not guarenteed by the traditional methods. Therefore, a future direction of BCI research is to find more effective feature extraction methods. An alternative solution is to learn features from real world data. The theoretical framework of deep learning is tailored for such problem. Therefore, in this project, we will use deep learning to learn features because it borrows the layered hierarchy from human brain and can extract more intrisic features. In this way, the performance of brain-computer interface is enhanced. Meanwhile, from the effective features of EEG data, we will explore the physical background and the neural mechanisms of the new features. This will probably reveal the physiological and theoretical nature of brain-computer interfaces, and motivate its applications.

脑机接口的性能很大程度上取决于特征提取和分类器学习的有效性。考虑基于头皮脑电的脑机接口，一般系统中的特征提取常基于人工选择的经验模型，并用脑电数据训练确定其参数。这种处理框架存在几个重要问题：1）从经验模型得到特征，无法保证最优性；2）脑电信号具有低信噪比和非平稳等特性，传统方法无法保证很好的稳定性和一致性。因此，寻找更加合理有效的特征提取方法是今后脑机接口发展的重要方向。从实际数据中学习有效的特征是解决上述问题的可能途径，而深度学习理论框架为此提供了很好的数学手段。本项目拟采用深度学习作为基本理论工具，利用其优异的特征学习能力，通过建立类似于人脑的分层模型结构提取更能刻画问题本质的特征，提高脑机接口的性能。同时，从基于数据获得的有效特征中，探索新特征的物理意义和神经机制，进一步揭示脑机接口的生理和理论本质并推动其应用。

为从脑信号中获取更有效的特征，提高脑机接口性能，在国家自然科学基金的支持下，我们探索了主流的深度神经网络，并针对脑机接口数据的时空特点，设计用于特征提取和分类的网络结构和参数。主要研究内容和成果包括：1）改进限制玻尔兹曼机用于脑信号检测与分析，提出多通道时域限制玻尔兹曼机方法进行事件相关电位信号检测，与传统基于卷积神经网络的方法相比，其优点在于能够有效提取信号的时域和空域特征，并能够在隐层观测到波形特征，且分类准确率有所提高。另外，还提出了时空判别限制玻尔兹曼机方法，所提取的时空特征能够较为准确地反映信号的空间分布和随时间变化情况，从而快速有效地检测信号；2）改进现有基于卷积神经网络的脑信号检测方法，提出采用扩张卷积以获取更大的感受野，提取多尺度特征，改善检测性能；3）提出了一种基于胶囊网络的信号检测方法用于脑机接口中，与传统神经网络中的标量输出神经元不同，胶囊由一组神经元组成并输出一个向量，信号中有助于分类的时空信息在胶囊中得到了很好的保存，实验结果表明该网络实现了优异的分类性能，此外，通过解码器，该网络还可以进一步对从输入中提取的特征提供可视化的生理解释，为分析脑信号的成分提供依据；4）为减少被试训练时间，结合黎曼几何与降维方法，设计了一种迁移学习算法应用于脑机接口系统，利用黎曼切空间投影法分别将不同受试者的样本集投影到相似的特征空间上，并拉直成向量，然后对所有样本使用多尺度放缩算法进行降维，并在低维欧式空间上使用成熟的线性分类器进行训练和分类，算法在不同数据集上取得了良好性能；5) 建立了新的高效在线脑机接口范式和系统。.. 上述方法已应用于多种不同模态的脑机接口数据分析，在多个数据集上证实了性能优势。同时，我们也在搭建的脑机接口系统平台上进行了测试。这些工作为最终建立新型的高性能脑机接口系统提供了有价值的思路和方法。基于上述研究成果，本项目组已在本领域权威期刊发表多篇论文，包括IEEE汇刊论文多篇，申请了多项专利，同时培养了多名博士硕士等青年人才。