用于非对称语料的语音转换函数训练算法研究

The goal of voice conversion is to modify the speech signal of source speaker to be perceived as if it had been uttered by a target speaker, but not altering semantic context. In this proposal, we aim to research on the training algorithm of voice conversion for non-parallel corpora. More specifically, our research mainly focus on four aspects. Firstly, Gaussian mixture model (GMM) is to be used for the phoneme classification of the source speech and the target one respectively. Secondly, in order to find the corresponding phoneme's category, we matches each individual Gaussian components of the GMM from source speaker to target speaker and vice versa according to Kullback-Leibler (KL) distance based on the results of phoneme classification. Thirdly, our proposal performs the frame alignment of phonetically equivalent acoustic vectors for source and target speaker in their mapped sub-spaces, not in the whole space. And then, the frame-aligned feature vectors are used to train the conversion function. Finally, according to auditory characteristics, prosody modification is conducted. In summary, our research's goal is to study the training algorithm on voice conversion with high quality converted speeches and good similarity between converted and target speeches. Voice conversion is a new technology which covers a wide area of research and has many potential applications. Addressing the issue of voice conversion is of momentous academic significance and important practical significance.

语音转换是要改变一个说话人语音中的个性特征信息，使之具有另外一个人的个性信息，转换后的语音听起来就像是目标说话人的声音一样，而语音中的其它信息保持不变。本项目以非对称语料情况下的语音转换函数训练算法为研究内容，具体来说，主要内容有：第一、利用高斯混合模型分别对源、目标语音的特征参数进行音素分类；第二、在音素分类的基础上，利用KL距离对源、目标语音相同或相近的音素类进行匹配；第三、在源、目标语音相对应的音素类内，根据声学距离最近原则将两者的特征参数序列进行对齐，并由此训练出语音转换函数；第四、根据人耳的听觉特性，研究语音信号韵律特性的转换。探索高质量、有效的语音转换算法和实现具有较强实用价值的转换系统是本项目的研究目标。由于语音转换是语音处理领域一项新兴的技术，它涉及的理论广，运用价值大，因此，本项目的研究具有重要的理论意义和实用价值。

语音转换的目的就是要改变语音信号中说话人的身份信息，使之具有另外一个人的个性特征，转换后语音听起来就像是目标说话人的声音一样，而语义保持不变。语音转换在多个方面具有潜在的应用价值，比如个性化的语音合成技术、电影原声配音、发声器官病变患者的语音修复等。. 源、目标语音的个性特征参数之间的转换函数是转换系统的关键，为了准确训练转换函数，一般都采用对称语料库，但很多应用场合，往往没有对称语料。本项目提出了一种用于非对称语料的语音转换函数训练方法ILNCA，先利用高斯混合模型（GMM）分别对源、目标语音特征参数空间进行分类，GMM的各分量与各音素会存在相关性。然后根据KL距离最小原则对源、目标GMM模型的子空间进行匹配，最后利用最近邻准则在相对应的子空间中进行源、目标语音特征参数矢量的对齐。实验表明由于本算法采用了更加精确的矢量对齐方法，能取得与传统的转换算法相当的性能。. 为了进一步提升转换系统性能，项目采用压缩感知提取语音帧间动态信息。根据连续多帧语音的线谱对参数所构成的矢量在离散余弦变换域具有稀疏性，利用压缩感知技术对该矢量压缩成短矢量，并将该压缩后的短矢量作为特征参数训练语音转换函数。实验测试结果表明，选择合适的语音帧数时，该算法的性能要比传统的采用加权频率卷绕的转换算法提高3.21%。这说明，充分有效地利用语音帧间的相关信息会使转换语音保持更稳定的帧间声学特性，有利于提高语音转换系统的性能。. 当GMM模型结构复杂，参数较多，而训练数据又较少时，会存在参数估计过拟合问题，导致转换函数不够准确。为此，我们采用高斯过程（GP）模型来实现语音转换函数的建模。GP模型的非参数化特性可以很好地解决过拟合问题，同时，GP模型采用复杂的核函数还可以实现源、目标语音特征参数的非线性映射，提高转换的准确性。为了进一步提高GP转换算法性能，我们将频谱特征参数和韵律特征构成联合矢量一同进行转换，以便充分利用激励信号和声道特性的相关信息。另外，我们采用不对称的训练策略来准确计算GP模型中核函数的参数，即输入矢量的维数可以适当地大于输出矢量的维数，并且这样的处理并不会增加额外的运算量。客观评测和主观听觉实验表明，基于GP模型的转换算法比传统的GMM算法有更好的性能表现。