基于运动想象脑电信号的多主体多任务异步实时脑控系统研究

Asynchronous realtime brain computer interface has great potential in the application of medical rehabilitation, intelligence home, military science and so on. The existing researches mainly focus on single subject binary task motor imagery classification, due to the low signal-to-noise ratio of the brain signal, the variation across different subject, the variation within one subject under different status for the same mental activity, and the low classification accuracy. In addition, synchronous experiments have been performed in most of the existing studies with known onset and stop time point of the motor imagery. The denoising of the brain signal is usually conducted offline. However, muti-subject and multi-task oriented asynchronous realtime brain computer interface is required to implement a practical system. To address the above problems, the project will carry out research on salient brain signal structure component guided asynchronous realtime brain computer interface. Based on the correlation analysis of rest state and motor imagery, online realtime denoising method will be developed and asynchronous motor imagery detection will be implemented. Information transfer across subjects and tasks will be studied by constructing the mutli-subject and multi-task sparse structure space model based on extracting the salient brain signal structure component. A multi-mode deep learning scheme based on combination of traditional features like Common Spatial Pattern and Long Short Term Memory will be developed for high accuracy classification of motor imagery. The outputs of the above researches will be applied in brain controlled wheelchair to implement a practical asynchronous brain control system.

基于运动想象的异步实时脑机接口在医疗康复、智能家居、军事等领域有广泛应用前景。鉴于脑电信号信噪比低，不同主体甚至同一主体不同状态下同样的意识活动产生的脑电信号都有差异，运动想象信号识别准确率低等原因，现有研究集中于单主体双任务识别。此外，目前运动想象分析多采用同步提示方式，已知运动想象起止时间，且脑电信号去噪多为离线非实时方法。然而，要构建实用脑控系统，必然要面向多主体、多任务，实现异步实时脑电信号识别。本项目拟针对上述问题，研究建立脑信号显著结构成分引导的异步实时脑控系统。研究基于个体静息态与运动想象信号相关分析的在线实时噪声抑制方法，实现异步信号检测；提取脑电信号显著结构成分，建立多主体多任务联合稀疏结构空间模型，实现主体间任务间信息迁移；结合长短期记忆网络及经典共空间模式等算法，构建多模态深度学习框架，实现高精度运动想象分类；将上述研究应用到脑控轮椅，实现实用的异步实时脑控系统。

多主体多任务异步实时脑控系统是脑机接口领域具有重要研究价值的系统范式。本项目针对该系统范式，从四个主要方面进行了深入的研究，包括运动想象脑电信号多主体相关性、可迁移性，以及噪声抑制机理与方法，运动想象脑电信号先验结构知识提取与表示方法，多主体多模态运动想象分类方法，以及实时脑控系统实现方案。首先，针对多主体运动想象脑电信号的相关性和可迁移性展开研究，建立了主体间可迁移性评估方法，并分析了脑电分类模型在多主体间迁移时脑电信号噪声的影响，为运动想象脑电信号多主体分类特征迁移建立了基础；其次，对脑电信号的先验结构特征表示方法进行了深入研究，结合运动想象脑电信号的频域特征，建立了基于有限状态响应滤波器的卷积层设计和初始化方法，能够联合提取空域、时域、频域三种模态特征，并具有直接的频率特征可解释性，取得了优秀的分类和迁移效果；再次，针对多主体多模态运动想象分类问题，建立了多种深度学习解决方案，并比较了各种深度学习解决方案的分类性能，提出了一种基于时间卷积网络的运动想象分类方法，建立了知识数据双驱动的高精度运动想象分类方法，取得了高精度的运动想象分类效果；最后，对电动轮椅进行了改造，搭建了无线接收模块，实现了电动轮椅的Wifi和蓝牙无线控制，完成了异步实时脑控轮椅硬件平台的构建，并基于带通滤波器组及滚动分段投票方法，实现了运动想象信号检测，为异步脑控系统建立了信号异步检测的方法基础，成功搭建了异步实时脑控轮椅软硬件系统。相关的脑电信号运动想象识别方法、迁移学习方法等相关研究成果发表国际知名期刊（包括IEEE Transactions on Cybernetics、Journal of Neural Engineering等）SCI论文9篇，国际会议论文5篇，相关研究成果申请专利7项，课题组8名研究生依托本项目顺利毕业，其中1名获得工学博士学位，7名获得工学硕士学位。