面向中文口语理解的非参数贝叶斯分析方法的研究和应用

The project proposes using non-parametric Bayesian analysis for Chinese spoken language understanding (SLU) to reduce the human effort during annotated process. Non-parametric Bayesian analysis is a hotspot in machine learning area and applied effectively in signal processing area etc. As we have known, there are no reports about the applications in Chinese SLU. Based on the leading edge of the track, we applied this approach in three subtasks of SLU, which are recognition of dialog acts, intents and named entities. The project will be carried out in-depth research on theory and approach. The main research content contains these three components. First, we study some kinds of non-parametric Bayesian model based on Dirichlet Process(DP) as prior distribution and corresponding parameter estimation methods.Second, modeling methods based on Dirichlet Process(DP) as prior distribution applied in three subtasks of Chinese SLU are analyzed. Third, combined with dialogue spoken corpora of city traveling and bus route query, performance evaluation is studied about unsupervised method to solve each task of SLU as well as the overall framework. By conducting the project, it will provide a new unsupervised theoretical guidance for understanding of Chinese spoken language, reduces application and development costs about spoken dialog system, but also provide reference for information mining texts.

本项目提出使用非参数贝叶斯分析对中文口语理解框架进行研究，以达到减少口语理解过程中大量人工标注的目的。非参数贝叶斯分析是机器学习领域的前沿课题，该方法已经被有效地应用于信号处理的很多领域，目前还未见到在中文口语理解方面的应用。本项目拟对中文口语理解中的对话行为、意图识别和命名实体识别三个任务开展深入研究，主要包括：1、研究以Dirichlet过程作为先验分布的各种非参数贝叶斯模型以及参数估计方法；2、使用以Dirichlet过程为先验分布的非参数贝叶斯方法对中文口语理解的三个子任务的建模方法研究；3、结合城市旅游公交领域的对话语料对无监督方法解决中文口语理解各个子任务以及整体框架进行性能评价研究。通过本项目的研究，不仅可以为中文口语理解提供全新的无监督的理论依据和方法指导，减少口语对话系统的开发成本，还为文本的信息挖掘提供参考和借鉴。

本研究以人机对话系统为中心，重点研究其中的口语理解任务，以及为对话服务的知识库自动构建、对话管理。深入研究每个部分相关算法的改进方法，具体研究内容包括：. (1)研究口语理解的两个子任务——意图识别和语义槽填充，重点研究联合建模，提出了使用三角链条件随机场模型对中文口语理解两个子任务联合建模。将两个任务集成到一个模型中，共享参数，通过一次训练解决两个任务。该内容进一步深入研究，提出基于注意力机制的双向长短时记忆模型对呼和浩特市公交问路查询语句进行两个子任务的联合识别，并探索了基于字和基于词标注的不同效果。在此基础上继续改进，提出融合注意力机制、语义槽门控机制、条件随机场的双向长短时记忆模型,进一步考虑了标签前后的依赖关系，对意图识别的结果利用门控进行约束再用于语义槽识别，有效的提高了两个任务的性能。. 针对当前对话系统中存在多领域意图的情况，研究基于胶囊网络的多意图识别方法，提出通过在胶囊网络中增加卷积胶囊层提取意图文本的深层次语义信息，同时利用胶囊网络中的动态路由将特征胶囊动态分配到意图胶囊类别中，通过设置阈值大小判别多种意图存在的概率，进行多意图识别。. (2)人机对话系统背后需要强大的知识库做支撑，为了进一步提高机器回答问题的正确率，研究了几种信息抽取方法，提出了混合方法的历史沿革信息抽取算法，融合PAM和主题偏好TextRank的历史沿革信息抽取算法，基于维基百科的领域概念知识库的自动构建方法以及基于双模型投票的人物关系抽取方法。. (3)针对特定领域的多轮对话数据难以收集的问题，提出一种结合规划的离散深度确定性策略梯度算法，并通过预订电影票的对话任务验证了该方法的有效性和可行性。. 以上成果共发表论文14篇，其中9篇专业核心期刊论文，5篇国际会议论文，申请软件著作权4项，出版专著1部，培养研究生7人，一人入选内蒙古自治区“草原英才”工程青年创新创业人才第一层次人选。完成了预期的研究任务和目标。