复杂环境下语音数据的说话人识别及关键词检索

Speaker recognition and keyword spotting in complex environment are the key unresolved technologies in the field of speech recognition. This project aims at the extremely complicated conditions such as high noise, miscellaneous channel, multilingual, limited training data, lack of transcription and no lexicon, etc. From deep feature extraction and representation, cross language data sharing, transfer learning and pseudo-supervised data generation, lexicon learning and novel speech recognition framework without lexicon and other aspects, this project will explore new speaker recognition and keyword spotting methods, and builds prototype system quickly and efficiently with a very low resource cost. Thus promotes the application and development of speech signal and information processing for our country.

复杂环境下语音数据的说话人识别及关键词检索是本领域中尚未解决的关键技术。本项目针对高噪声、杂信道、多语种、少数据、缺标注、无字典等极端复杂条件，从深层特征提取与表征、跨语言数据共享、迁移学习与伪监督数据生成、发音字典学习与无字典语音识别框架等方面出发，探索新型的说话人识别和关键词检索方法，以极低的资源代价快速高效地构建原型系统并进行试点应用，增强语音数据处理的实战能力，推动我国语音信号与信息处理技术应用和发展。

本项目面向复杂环境下说话人识别及关键词检索实用化中的瓶颈问题，针对杂信道、多语种、少数据、缺标注、无字典等复杂条件开创新性研究。我们研究了复杂声学环境下深层声纹特征的提取与表达，增强了说话人低维表示特征的鲁棒性；研究了基于发音器官参数的说话人建模，提升了说话人识别的推广性；研究了通用语种语音识别单元，提升了语音识别多语种情况下的适应性；研究了发音字典学习，提出了自动生成发音字典的方法；研究了跨语种数据深度共享，提出了零次学习的语音识别方法；研究了基于无监督学习和迁移学习的信道补偿数据集合构建方法，借助外部增强了模型性能；研究了无发音字典的关键词检索新框架，提出了端到端的基于注意力机制和能量评分器的关键词检索系统；研究了“零资源”样例关键词检索系统，构建了语种无关的关键词检索系统；研究了针对短时语音片段的高效识别，提升了短语音情况下的性能；研究了基于内容的语音分析，完善了语音数据分析的功能。通过以上研究，整体提升了复杂环境下说话人识别及关键词检索性能，最后构建了原型系统，在国际权威评测中取得佳绩，并在通用技术研究院应用，支撑了有关部门的实际业务。