口语对话系统技术在自由表述语言学习中的应用研究-以新疆少数民族学生的普通话学习为例

Bilingual language learning is of fundamental importance to the social and economic development of Xinjiang. This project applies spoken dialog system technologies such as continuous speech recognition, spoken language understanding and natural language generation to interactive, spontaneous presenting based computer-assisted language learning for the ethnic minority students in Xinjiang. The research will be carried out based on the speech and text databases by ethnic minority speakers in Xinjiang. Low resource non-native speech recognition performance is to be improved by taking advantages of the sub-space acoustic modeling and minimum word error based lexicon modeling approach. Language understanding performance and robustness are going to be improved by optimization of model parameters, feature selection, model combination and semantic decoding methods under the minimum concept error criterion. Aiming at improving the proficiency of the learners, the integrity and correctness of the presentation of the speakers are to be evaluated based on spoken language understanding technology and automatic generation of the diversified golden standards. The instructive tutoring and quantitative evaluation scores are to be given in order to improve the learners' language proficiency. By carrying out experiments and analysis, new paradigms and methodologies in non-native speech recognition, spoken language understanding and proficiency evaluation can be expected and a practical computer assisted spoken language learning system for bilingual madarin speech learning in Xinjiang is to be established.

双语学习是促进新疆发展的重要举措。本课题将口语对话系统中的语音识别、口语理解和言语生成技术应用在面向新疆少数民族学生的自由表述条件下的计算机辅助语言学习中。分析应用过程中的特殊性并提出相应改进方法。在少数民族说话人的汉语语音、文本数据基础上进行针对性研究。提出利用子空间声学建模方法及基于最小词错误准则优化发音词典的研究思路，改进低资源条件下非母语语音识别性能；提出利用概念错误率最小化目标函数对语言理解模型参数、特征选择、模型组合以及解码方法进行优化的研究方法，提高语言理解性能及其面向口语输入的稳健性；提出通过内容理解以及自动生成专家标准判断口语表述完整性、正确性的研究方案，来解决说话人自由表述的多样性问题。通过实验验证所提出的方法的有效性，以期得到自由表述口语学习中非母语语音识别、口语理解以及表述内容评价与指导的新方法和新见解；建立面向新疆少数民族学生普通话学习的计算机辅助语言学习系统。

研究了基于口语对话系统的面向自由表述的计算机辅助语言学习的各个相关技术关节。在数据采集方面，采集了校园问路、航班信息、电影、餐饮的对话数据，并在数据库上进行了口语理解标注。提出了基于条件随机场的噪声条件下的口语理解方法，通过在训练数据集中人工加入错误文本噪声进行语料扩充，送入条件随机场口语理解模型进行训练，用得到的模型对具有噪声的未知数据集进行口语理解提高系统稳健性。针对口语理解任务提出一种特征融合的循环神经网络结构，该结构首先把输入送到隐含层训练得到特征表示，然后该特征信息与源输入及历史输出信息一起送入另一隐含层最后送进输出层得出口语理解结果。针对口语对话系统领域分类任务，将Latent Dirichlet Allocation(LDA)模型应用于口语对话系统领域分类；针对口语对话内容少、长度短、数据稀疏等问题，在LDA模型基础上提出了基于词嵌入文本扩充的口语对话系统领域分类方法。针对传统特征空间模型在短文本分类中维数高、语义特征不明显的问题，提出了基于LDA模型主题分布相似度分类方法；针对短文本内容少、长度短、特征稀疏的问题，提出了基于LDA模型主题－词分布矩阵的主题分布向量改进方法。针对资源匮乏的语音数据训练的深度神经网络声学模型效果不佳的问题，研究了在资源丰富数据训练的基础深度神经网络声学模型基础上，用迁移学习的方法改善低资源度维吾尔语声学模型性能。为了提高自动发音错误检测性能，我们又提出一种区分性特征补偿训练算法，该方法将高斯后验概率矢量经过线性变换后作为偏移量补偿至传统的谱特征。 针对基于DNN的发音错误检测，提出了一种基于迁移学习的GOP发音错误检测方法。在将最大化F1值准则应用于DNN-HMM声学模型时，使用MFC准则训练DNN所有层参数转变为单纯训练DNN的softmax层转参数来获得更好的发音错误检测性能。建立了面向实际应用的基于口语对话的计算机辅助语言学习系统各个模块。