基于生理的言语产生动态模型研究

This research focuses on the phonation organs' physiological features during pronunciation stages, not only in order to realize the important theoretical significance of human speech producing physiological mechanism from the conversion between the physical lay to the acoustic level, but also understand the application value in speech parameter synthesis, physiological organ model establishment and emotional physiological studies. This project has divided the speech producing process into three main stages: aerodynamic model, articulation model and phonation model, so that it would be able to realize model fusion for multiple physiological signals for establishing the speech producing physiological foundational model. The main process for studies: 1) to capture a series of physiological signals from aspiration, lung spiral CT image, PAS, EGG, EPG, dynamic 2D X-ray sound track video and lip vision etc. aspects; 2) to compile the physiological signal analysis program to extract the corresponding acoustic and physical parameters; 3) to use lung transverse image, breathing belts and Phonatory Aerodynamic System (PAS) to explore the speech aerodynamic mechanism from theoretical aspect; 4) through the speech, airflow and EGG signals, to establish various tones' voice source models; 5) to make use of X-ray sagittal sound track profile and dynamic palatal transverse section contact data, to establish the dynamic 3D stereoscopic model; 6) eventually to make the speech driving physiological system come true.

研究发音器官在发音阶段的生理特性，研究语言信息从生理层面到声学层面的转换不仅对于认识人类言语产生的生理机制重要的理论意义，而且对于语音参数合成和生理器官合成，以及情感的生理研究都有重要的应用价值。本项目把言语产生过程分为：动力系统、调声系统和调音系统三部分，进行多种生理信号的模型融合，构建言语产生的生理基础模型。主要过程为：1)采集汉语普通话的呼吸、肺部的螺旋CT图像、气流气压、声门阻抗、动态腭位、动态二维X光声道录像和唇形视频信号等一系列生理信号；2)利用编写的生理信号分析程序提取相应的声学和生理参数；3) 利用肺横切面图像、呼吸带和气流气压计,从理论上探讨言语动力的机制问题；4）利用语音、气流和喉头仪信号，建立不同声调的嗓音声源模型；5）利用X光的矢状面声道轮廓和动态腭位横切面的舌腭接触数据，建立动态声道的三维立体模型；6）最终实现语音驱动的言语生理系统。

在项目的支持下，采集并建立的语音生理数据库，主要包括：1)二维唇形视位库；2）声门阻抗信号库；3）动态腭位数据库；4）气流气压数据库；5）呼吸信号数据库；6）鼻流计信号库；7）三维唇形数据库；8）超声舌位视频影像数据库。.在项目的执行过程中根据研究的需要，部分软件进行了改进和完善，主要包括：1）语音声学分析软件；2)EGG嗓音参数提取软件；3)唇形标记及分析软件；4）动态腭位参数提取软件；5)呼吸带信号参数提取软件；6)鼻音度参数提取软件；7）气流气压参数提取软件。.项目以汉语普通话为研究对象，在各种语音生理信号数据库的基础上，建立的参数数据库，对各项参数进行了统计分析，得到了量化的统计结果，对各种生理参数之间的关系进行了研究。主要研究包括：1）利用声学参数、唇形参数、动态腭位参数和气流气压参数等研究辅音的发音部位和发音方法的区别性特征。2）利用声学参数、唇形参数、嗓音参数和气流气压参数等研究元音的生理特征；3）对每个音位的各项参数进行统计分析，建立参数的统计模型；4）研究了呼吸带与气流气压之间的参数关系，实现了呼吸参数驱动肺部运动的模型；5）结合X光图像、超声和动态腭位数据，对每一个音位的运动模型进行了探讨。.本项目发表了6篇论文，详见成果统计表。1篇英文论文发表在国际期刊Journal of Chinese Linguistics（SSCI 和AHCI），论文题目：An aerodynamic study on articulation of Mandarin initials；另外，本项目还有1本研究专著《语音实验技术与应用》已经完稿，已交付国防工业出版社出版。.本项目培养了1名博士后、4名博士研究生和10名硕士研究生。项目经费严格地按照计划支出。管理费严格控制在5%，学生劳务费控制在15%。主办了2013年“第十四届中国少数民族语言文字信息处理学术研讨会”，与会70余人，本人做了《民族语语音研究新方法》的主题报告。.根据本项目的研究，我们已经把语音生理研究的方法逐渐扩展到少数民族语言和口传文化的研究，对本学科在方法论上的拓张起到了积极的推动作用。在本项目的积累下，我们在2015年申请到了国家自然基金项目“汉语普通话空气动力学参数建模及实时评测系统研究”。