基于谱信息和时域信息增强的电子耳蜗音高增强研究

Currently, cochlear implant is the only way to restore hearing in patients with moderate to severe hearing loss. The current cochlear implant product can effectively identify non-tonal languages, but doesn’t encode pitch information, which results in great difficulties for users to percept tonal languages. At present, domestic and foreign researches improve little on pitch enhancement of cochlear implant. Most studies only stay in simulation stage, instead of clinical verification. This project improves the speech processing algorithm in terms of enhancing spectral and temporal information. The methods include increasing channel density in different frequency bands, utilizing virtual channel technology, enhancing spectral change information, expanding temporal envelope in different frequency bands, generating sine wave based on harmonic frequencies to enhance temporal period information, enhancing temporal fine structure information, and etc. This project plans to use these methods to enhance the pitch encoding for cochlear implant and improve the ability of cochlear implant users to recognize Mandarin tone, by carrying out both simulation experiments and clinical verification based on the first set of clinical debugging platform for Nucleus cochlear implant. Moreover, this project will compare the impact of these methods on Mandarin tone recognition, and try to combine these methods effectively. Thus this project is of great significance for achieving pitch information encoding, increasing the number of cochlear implant users, and promoting the localization of cochlear implant.

目前，植入电子耳蜗是重度聋患者恢复听觉的唯一方式。现有的电子耳蜗产品能够有效地进行非音调语言的识别，但没有编码音高信息，导致电子耳蜗用户很难感知音调语言。国内外研究对电子耳蜗音高增强的改善力度不大，绝大多数研究只停留在仿真阶段，尚未进行临床验证。本项目从谱信息和时域信息的增强出发，通过增加不同频带的通道密度、应用虚拟通道技术、增强谱变化信息、对不同频带进行时域包络扩展、基于谐波频率构造正弦波以增强时域周期信息、增强时间精细结构信息等方式对语音处理算法进行改进，进行仿真实验，并在电子耳蜗临床调试平台上进行临床验证，以增强电子耳蜗的音高编码，改善电子耳蜗用户对汉语普通话的音调识别能力。此外，本项目将对比这些方法对电子耳蜗汉语普通话音调识别的影响，并试图将这些方法进行有效地结合。本项目有助于实现电子耳蜗的音高信息编码、扩大电子耳蜗的适应人群、推动电子耳蜗的国产化。

现有的电子耳蜗产品能够进行非声调语言的有效识别，但没有编码音高信息，导致电子耳蜗佩戴者很难感知声调语言。本项目从谱信息和时域信息的增强出发，通过增加不同频带的通道密度、应用虚拟通道技术、基于高斯差函数增强谱变化信息、对不同频带进行时域包络扩展、基于基频和谐波增强时域周期信息、基于ACE算法进行变速率刺激等方式对语音处理算法进行改进，完成仿真和临床实验，以增强电子耳蜗的音高编码，改善电子耳蜗用户对汉语普通话的声调识别能力。此外，本项目建立了畸变产物产生模型，完成电子耳蜗近场信号采集震荡及失配研究、电子耳蜗言语处理策略的特征研究、电子耳蜗基于ERP的普通话和音乐情感感知研究、单通道光学耳蜗研究，为电子耳蜗音高增强提供了丰富的理论和实验支持。结果主要发现：(1)仿真研究表明：相比于CIS策略，基于高斯差函数的谱变化增强策略能获得显著较好的普通话声调识别率，时域分析表明这基本归因于时域峰值高度的显著增强。(2)仿真研究表明：相比于CIS策略，基于基频和谐波的时域周期信息增强算法能获得显著较好的声调识别率。(3)临床实验表明：相比于ACE算法，基于ACE的变刺激速率算法在噪声状况下能获得显著较好的普通话声调识别率。(4)在安静状态下，通道密度的变化对三声声调识别有显著影响。(5)在噪声状态下，时域包络分频带扩展对总体声调、二声、三声和四声声调识别具有显著影响。当低频和高频部分都存在时，对低频部分变换可显著提高识别率。局部的包络扩展可以改善声调识别率，但全通道的包络扩展反而会降低识别率。(6)临床实验表明：听力正常者和电子耳蜗佩戴者在感知音乐和普通话时的N400成分具有差异。本项目有助于实现电子耳蜗的音高信息编码、扩大电子耳蜗的适应人群、推动电子耳蜗的国产化。目前该项目已发表20篇学术文章，申请3项专利，参加4次学术交流活动，协助指导2名硕士生，较大地提高了课题组教师的科研工作能力。