不同频段时间包络与精细结构在汉语普通话言语识别中权重的研究

Cochlear implant (CI) is the only effective equipment to restore the speech communication ability of patients with severe sensorineural hearing loss by far. The main problem for the Chinese CI wearer's is speech recognition difficulty in noisy environment. One of the important reasons is that Mandarin is a tonal language, while the speech processing strategies of the mainstream CI are based on the findings from the non-tonal languages, such as English. Our previous study suggested that when the parameters during temporal information (i.e. temporal envelope and fine structure) extraction, such as time window duration, frequency band number, the cutoff frequency for low pass filters and presentation intensity, were optimized, the relative weights of temporal envelope and fine structure in the low frequency regions were 25% and 40% respectively for Mandarin recognition, which were higher than those for English. This illustrated the importance of low frequency information for Mandarin recognition was significantly higher than that for the non-tonal languages under specific temporal information extraction parameters. In order to further evaluate the effect of these parameters on the relative weight of different frequency regions for Mandarin recognition, we would explore the role of different frequency regions for Mandarin recognition under different environments based on our previous results through regulating these parameters. Our results would provide theory basis for speech processing strategy suitable for Mandarin recognition and CI localization.

电子耳蜗（cochlear implant, CI）是目前为止可以使重度感音神经性聋患者恢复言语交流能力的唯一有效设备。我国CI佩戴者面临的主要问题是噪声环境下言语识别困难。其中一个重要的原因是汉语属于声调语言，而主流CI采取的言语处理策略均是基于英语等非声调语言的研究结果。既往我们的研究表明，当时间信息提取时的时间窗长度，频带数目，低通滤波器截止频率，给声强度等参数优化后，低频段时间信息（时间包络和精细结构）在汉语识别中的相对权重分别达到25%和40%，远高于英语识别中低频信息的权重，说明特定参数时汉语低频时间信息的重要性要明显高于英语等非声调语言。为进一步评估这些参数对不同频段时间信息在汉语识别中相对权重的影响，本研究拟在前期研究的基础上，通过调控时间信息提取过程中的参数，测试差异环境下不同频段时间信息在汉语识别中所起的作用，为开发适合汉语的言语处理策略及CI汉化提供理论依据。

电子耳蜗（Cochlear implant, CI）是目前重度至极重度感音神经性耳聋唯一有效的方法。研究发现，以普通话为母语的CI患者的表现比英语用户差。这可能是因为目前的 CI 语音编码方案主要基于英语。言语信息中的时域包络信息（temporal envelope， TE）包含时间调制信息，对安静条件下的语音感知极为重要。既往关于TE的相关研究都是基于英语这一非声调语言展开的。而普通话作为一种声调语言，在全球的使用人数最多。本研究旨在研究不同频段在普通话识别中的权重。我们的结果可能会使以汉语为母语的 CI 佩戴者受益，并最终提高他们的语音识别性能和生活质量。本项目通过提取不同材料、不同环境、不同切割条件下言语中的TE信号展示给受试者，通过受试者对不同信号的言语识别分数分析不同频段TE信息在言语识别中的相对权重。研究结果证实在安静条件下低频和中频的TE信息在普通话双音节词识别较语句识别更为重要，而高频TE信息在普通话双音节词识别中的权重较小。中低频TE信息元音识别最重要，高频TE信息对辅音识别最重要，而低频TE信息对音调的识别最重要。同时，在噪声条件下低频的TE信息在普通话语句识别中最为重要，而高频TE信息在普通话语句识别中的权重较小。本项目的研究结果可以为助听设备中设计针对普通话言语识别的言语处理策略提供参考信息，要尽可能多地提供时域包络信息，特别是要侧重于低频言语信息的提取与处理，为提高以普通话为母语的CI患者提供更好的助听设备以及更好的言语处理策略。