深度迁移学习在中文口语理解中的研究和应用

The project proposes using deep transfer learning for Chinese spoken language understanding (SLU)from source domain to target domain to reduce development cost. Transfer learning is a hotspot in human intelligence and still in an exploratory state. As we have known, there are no reports about the applications in Chinese SLU. We applied this approach in two subtasks of SLU, which are recognition of intents and named entities. The project will be carried out in-depth research on theory and approach. The main research content contains these three components. First, on the basis of summarizing previous studies, we further study the modeling methods of two sub tasks by deep neural network for spoken language understanding. We hope to study and evaluate the experiment results, construction methods and efficiency of experiments. Second, we study the modeling method of transfer learning applied in deep neural networks and analyze, summarize the methods and theoretical support of transfer learning in cross-domain transferring. Third, combined with the field of tourism traffic of the project dialogue corpus, as well as target data of booking train tickets, airlines and hotels, we do experiments for overall framework of deep learning and transfer learning framework and hope to analyze theoretically and give out guiding conclusions.

本项目提出使用深度迁移学习对中文口语理解任务进行研究，从已有的开发领域向目标领域迁移，以达到减少开发成本的目的。迁移学习是人工智能领域的前沿课题，但仍处于探索阶段，而且未见在中文口语理解方面的应用。本项目拟对中文口语理解的意图识别和命名实体识别两个子任务进行深入研究，主要包括：第一，在总结前人研究的基础上，进一步研究深度神经网络对口语理解两个子任务的建模方法，希望对各种深度神经网络模型的实验效果、构建方法、实验效率进行研究并给出评价；第二，研究迁移学习应用在上述深度神经网络上的建模方法，分析、归纳和总结迁移学习在跨领域迁移时所需要的条件、方法和背后的理论支持；第三，结合本项目的旅游交通领域的对话语料，以及预订火车票、飞机票、宾馆的领域数据，对口语理解的子任务以及整体深度学习框架和迁移学习框架进行实验、理论分析并给出具有指导意义的结论。

本项目以人机对话为中心，重点研究语言理解的两个子任务——意图识别和语义槽填充的建模方法，以及开发新领域对话系统时数据稀缺的迁移学习方法，具体研究包括： . (1)提出了BERT+CRF的意图和语义槽联合识别模型, 利用BERT的多头注意机制充分学习上下文特征，捕捉长距离依赖关系，通过实验获得当前几类联合模型中的最佳性能。. (2)提出了改进的胶囊网络进行多意图识别，在胶囊网络中加入了卷积胶囊层以获取意图的深层语义特征，进一步提高了多意图的识别率。. (3)提出一种结合规划的离散深度确定性策略梯度DDPG算法优化对话策略。在整个训练过程中，代理使用此算法改进对话策略，最后通过预订电影票的对话任务验证该方法的有效性和可行性。. (4)针对新领域对话系统中意图识别数据稀缺的问题，提出一种结合胶囊网络的领域适应方法，通过对源域和目标域特征进行二次提取，充分提取意图文本的深层次特征信息，捕捉不同领域的独有特征，提高领域的判别能力，提升领域适应的可靠性，并且提升意图识别器对目标域的意图识别能力。. (5)针对模型迁移存在负迁移的问题，提出使用对抗迁移学习进行命名实体识别的方法，在共享特征提取器上添加一个对抗鉴别器，使用完全共享和共享-私有这两种共享模式，普通对抗鉴别器有效解决了负迁移的问题，而广义资源对抗鉴别器在其基础上更进一步，成功解决了源域和目标域之间数据量不平衡的问题。. 以上研究共发表中文核心期刊论文9篇，申请软件著作权8项，培养研究生毕业7人，项目主持人入选内蒙古自治区“草原英才”工程青年创新创业人才第一层次人选和内蒙古自治区“新世纪321人才工程”第二层次人选，1名研究生的硕士论文获得校级优秀硕士学位论文，多名研究生获省级奖励，研究生培养成效显著，完成了预期的研究任务和目标。