噪声环境下基于多域信息融合的说话人识别鲁棒性研究

The noise in the practical environment leads to the sharp decline in the performance of speaker recognition and makes a great challenge to the robustness of the speaker recognition system. Therefore, weakening or removing the adverse effects of environmental noise to improve the robustness of speaker recognition becomes a research hotspot in the domain of speaker recognition. Taking the speaker recognition in noisy environment as the research object, this project focuses on the multi-domain information fusion in noisy environment. For the signal domain, this project will reconstruct the harmonic structure of speech to reduce the negative effect of the environmental noise. For the feature domain, this project plans to extract features based on the neighborhood preserving embedding (NPE), which is one of the manifold learning algorithms. A multiple level fusion framework will be proposed, which combines the feature level, the matching score level and the decision-making level. The research of the robustness of speaker recognition in noisy environment aims to provide new methods and theoretical support and motivate the practical application of speaker recognition.

实际应用环境中的噪声导致说话人识别系统的性能急剧下降，这对说话人识别系统的鲁棒性提出了很大的挑战。如何有效减弱或去除噪声对说话人识别系统的负面影响，从而提高说话人识别在噪声环境下的鲁棒性，成为了说话人识别领域研究的热点及重点。本项目以噪声环境下的说话人识别为切入点，研究基于多域信息融合的噪声鲁棒性方法。通过在信号域中基于谐波结构进行语音再合成，在特征域中基于流形学习中的邻域保持嵌入算法提取特征参数，并基于信号域、特征域和判决域进行多层级信息融合，提高背景噪声环境下的说话人识别性能。研究基于多域信息融合的噪声鲁棒性方法，旨在为说话人识别的实际应用提供方法与理论支持，推动说话人识别技术在实际应用中的不断完善和发展。

本项目以噪声环境下的说话人识别为切入点，从信号域、特征域、得分域出发，研究基于多域信息融合的说话人识别鲁棒性方法。本项目的主要研究内容包括：.（1）提出了一种基于判别邻域嵌入算法和局部保持判别投影算法的说话人识别。通过结合邻域和类的信息，不仅能保持类内（同一说话人）样本数据的局部邻域结构，同时强调类间（不同说话人）样本数据间的判别信息，使得不同类样本的嵌入向量相互分类，因而具有更强的判别能力。.（2）研究了语音信号的噪声消除及鲁棒性特征参数。通过研究深度神经网络语音噪声消除性能的方法和改进的幂率归一化倒谱系数（PNCC）特征参数提取算法，从而提高噪声环境下说话人识别的鲁棒性。.（3）研究了在信号域通过谐波结构进行语音再合成的方法。一方面利用了谐波结构对噪声不敏感的特性，另一方面克服了传统的基于谐波结构的声纹识别系统性能低的缺点，从而提高噪声环境下说话人识别的系统性能和鲁棒性。.（4）提出了一种对数似然值归一化得分规整算法(Log-likelihood Normalization，LLN)。经过LLN得分规整，测试语音对目标说话人模型和冒充说话人模型得分差距会进一步拉大，提升了系统识别性能。并在此基础上对信息融合方法进行了研究。.本项目的研究工作有助于提高实际复杂环境下说话人识别的性能，具有重要的理论和实际应用价值。