多模式融合的脑机接口的机理与方法研究

现有的脑机接口大都是基于一种脑电活动模式实现的单模式的脑机接口系统，信息传输率还远不能满足实际的复杂通讯的要求。此外BCI盲问题也限制了当前单模式系统应用的普遍性。并行结合方式的多模式融合脑机接口不仅可以为系统提供更多控制模式，提高系统的信息传输率，也为解决BCI盲问题提供了一个有效的途径。目前国内外在多模式融合脑机接口方面的研究才刚刚开始，在交互范式、特征提取、交互适应等方面还需要深入研究。本项目拟设计基于视听觉协同感知的脑机交互范式，以尽量减少多模式相关思维任务之间的干扰，构建有效的多模式任务的控制策略；提出多模态的脑电信号特征分析方法，以更好的揭示多模式融合下特征的变化及关联响应特征，确保脑电信号的准确分类；建立基于注意力的脑机交互适应学习方法以帮助用户和系统能协调多模式思维任务进行整体控制。最终为实现信息传输率高，并能有效减少BCI盲问题的新型脑机接口提供机理和方法。

基于脑电信号的脑机接口将大脑的电活动信号翻译成控制命令来直接控制机器，为大脑和其它外部设备之间建立了一条全新的信息交流与控制通道，在很多领域都有重要的应用前景, 具有极其重要的社会意义。现有的脑机接口大都是基于一种脑电活动模式实现的单模式的脑机接口系统，信息传输率低，可靠性差，使用不灵活，远不能满足实际的复杂通讯的要求。本项目建立了并行结合方式的多模式融合脑机接口：设计了基于视听觉协同感知的脑机交互训练范式，来帮助使用者有效学习多模式交互任务，并构建了有效的多模式任务的控制策略；提出了多模态的脑电信号特征分析方法，能更好的揭示多模式融合下特征的变化及关联响应特征；提出了基于分类概率熵值检测算法来识别并行任务的有意控制状态，确保并行多自由度命令能被准确和快速的发出。最终实现了信息传输率高，灵活可靠的多模式融合脑机接口系统，能提供并行的多自由度的控制命令进行现实应用环境中灵活可靠的控制，为发展新型脑机接口提供了有价值的机理和方法。