融合语音产生机理与统计声学建模的层次化语音合成方法研究

Speech synthesis is a key technology in intelligent man-machine interaction. Flexible control on the characteristics of synthetic speech, such as speaker, timbre, and emotion, is an important developing direction of speech synthesis technology. In the Young Scholar NSFC project, for the first time, we introduced the articulatory features into statistical parametric speech synthesis. Based on the close relationship between articulatory features and speech production mechanism, we got effective control on the timbre of synthetic speech and the quality of specific vowels. Aiming at achieving controllable speech synthesis driven by phonetic knowledge, this project plans to extend the research work of the previous Young Scholar NSFC project. A hierarchical speech synthesis model, which contains a low-level speech production model and a high-level statistical acoustic model, is to be designed in order to control the generation of acoustic features by phonetic knowledge; besides articulatory features, we will research on other low-level speech representations, such as formants and prosodic patterns; based on the proposed hierarchical speech synthesis model, the method of conveying para-linguistic and non-linguistic information, such as emotions and environmental noise influence, in synthetic speech will be studied. The research topic of this project is significant for enriching the modeling methods of speech signals, promoting the combination between speech science and speech technology, extending the application areas of speech synthesis systems, etc.

语音合成是智能人机交互领域的一项关键技术，对合成语音所体现话者、音色、情感等特性的灵活控制是语音合成技术的一个重要发展方向。在青年科学基金项目中，我们首次将发音动作参数引入到统计参数语音合成中，利用发音动作参数与语音产生机理的直接相关性，取得了对合成语音音色与元音发音方式的有效控制。本项目旨在以实现语音学知识驱动下语音合成的高可控性为目标，对青年科学基金项目的研究内容作进一步的延伸和拓展。通过设计包含底层语音产生模型与高层统计声学模型的层次化语音合成模型结构，实现语音学知识对声学参数预测的影响与控制；在单一发音动作参数基础上，研究共振峰、韵律模式等其他底层语音参数的建模与预测方法；基于层次化的语音合成模型，研究合成语音对情感、环境噪声影响等副语言与非语言学信息的表现方式。此研究课题在丰富语音信号建模方法、促进言语科学与言语工程结合、拓展语音合成系统应用领域等方面具有重要意义。

语音合成是智能人机交互领域的一项关键技术，现阶段语音合成方法在合成语音的自然度以及合成过程的灵活可控性上仍存在不足。本项目围绕融合语音产生机理与统计声学建模的层次化语音合成方法开展研究工作，主要研究内容包括：研究了基于发音机理的频谱特征建模与预测方法，提出了基于隐轨迹模型的层次化频谱特征建模方法，改善了合成语音的自然度与灵活可控性；研究了基于深度产生模型的语音合成方法，提出了一种基于受限玻尔兹曼机和深度置信网络的频谱特征建模方法，有效提升了合成语音的自然度；研究了底层韵律特征的表征和预测方法，提出了结合目标逼近基频表达和双向联想贮存器的中文语音合成基频后处理方法和情感语音基频生成方法，提高了合成语音的自然度与情感表现力；研究了韵律特征的层次化建模方法，提出了基于深度神经网络的层次化基频建模方法，设计实现了层叠式网络以及并行式网络两种模型框架，降低了基频预测误差，提升了合成语音的自然度。本项目共发表学术论文30篇，申请并授权专利2项。本项目以语音合成的自然度与灵活可控性为目标，从语音产生机理和深度学习两个方面，对于频谱和基频特征的层次化建模预测方法进行了较为全面的研究。本项目研究工作对于丰富语音信息处理中的声学建模方法，提升语音合成、语音增强、声音转换等实际任务中的生成语音质量具有科学意义与应用价值。