面向语音认知的脑电N400成分时-频-空域联合特征提取研究

Language is closely related to everyday life. The group results of cognitive research indicate that EEG N400 component can be used to objectively assess sematic processing ability. However, it is a challenging problem to objectively assess an individual’s cognitive ability in EEG applications. .The proposal intends to assess individual’s speech perception ability based on EEG N400 component. Following aspects will be investigated in the project: 1) The N400 effects evoked under auditory-only, visual-only and audio-visual conditions will be studies using ERP. These studies will help to understand the neural mechanisms of N400 effect, and be able to give an overall analysis of speech perception. 2) The N400 waveform of individual subject will be extracted using resampling-difference and temporal-spatial analysis from few trials EEG signal. This algorithm will be investigated to assess the speech perception ability of individual subject. 3) The temporal, spectural, spatial features will be extracted and combined to objectively assess speech perception. These features could provide more evaluation indexes for the objective assessment of speech perception. 4) Based on temporal-spatial analysis, the activity reponses in different brain regions will be described during the task of speech perception. This work could be used to assess the brain functions related to speech perception. .In the project, the temporal, spectral, spatial features of N400 component will be analyzed to assess speech perception. The project will attempt to solve many challenging problems in EEG applications. The project is supposed to objectively assess an individual’s ability of speech perception.

语言与人类生活密切相关，认知研究的群体结果表明脑电N400成分可客观评估大脑的语义处理能力。对个体认知能力的客观评估是目前临床脑电应用基础研究中具有挑战性的问题。本项目拟基于脑电N400成分客观评估单个受试的语音识别能力。研究内容包括：（一）单听、单视、视听觉三种感官形式诱发N400效应的认知研究，为全面评估语音识别能力提供认知基础。（二）结合重采样差分和时空域分析方法，提出个体较少试次下N400波形提取的算法设计，实现对个体语音识别能力的评估。（三）确定与语音识别能力相关的时-频-空域多种客观测量指标，此可为语音识别客观检测提供多方位的、定量的评价指标。（四）结合时-空域联合分析方法，描述语音识别任务下各脑区的响应过程，此可评估语音识别任务相关脑区的功能状态。本项目所提出的时-频-空域联合特征可综合评估语音识别能力，此可为临床N400的应用提供支持，具有重要的科学意义和应用价值。

N400成分是研究人类大脑语言加工机制的重要脑电成分，其空间分布和波形特征与大脑的多种认知活动有关，可以用于认知研究和失语症、阿尔兹海默症、缺氧性脑损伤等多种临床疾病的辅助诊断。叠加平均法是提取N400波形的金标准，但是存在明显不足。在认知研究和临床应用中，受试者会因为过长的实验过程而产生疲劳，因此只能从少量试次的脑电数据中提取N400波形并分析其空-时-频多域特征。针对现存方法的不足，本项目提出基于多种语音刺激的N400诱发范式，并通过少试次波形提取算法得到N400的波形，分析其时-频-空多域特征。本项目的研究工作按照如下三方面展开：(1) 研究基于多种听觉、视觉、视听觉刺激的N400诱发范式；(2) 研究少试次条件下的N400波形提取方法，并分析N400的空-时-频多域特征和脑功能状态分析；(3) 研究对不同刺激条件下的事件相关电位(event-related potential, ERP)的分类方法，提取不同刺激条件下的ERP空-时-频多域判别特征，并分析其与语音任务的相关性。本项目取得的研究成果汇总如下：(1) 提出了一种以汉字及其读音为听觉、视觉、视听觉刺激材料的N400诱发实验，通过调整刺激的信噪比诱发各种刺激条件下不同强度的N400波形，并使用功率谱分析、空间能量分布等多种空-时-频分析手段分析N400实验中的脑区响应情况；(2) 引入了多种ERP的提取方法和特征提取方法，如有监督的信噪比最大化算法、空时级联滤波、重采样差分平均、结构化稀疏字典学习、低秩约束的稀疏分解等方法；(3) 探索如何使用机器学习理论对不同刺激条件下的ERP波形进行判别分析，将其空-时-频特征与刺激类型进行关联。综上所述，本研究团队较好完成了研究任务，达到了预期目标。特别地，项目成果研究了多种提取N400波形及其空-时-频特征的算法。研究成果具有重要的理论意义，与认知和临床研究中的实用价值。