基于深度学习的端对端跨领域个性化任务型对话研究

The research of task-oriented dialogue system aims to help users complete domain-specific tasks through the means of natural language dialogue. It has become an important and challenging problem in natural language processing and artificial intelligence fields. However, previous studies rarely consider users’ personalized needs. In addition, they are highly dependent on domain knowledge and large-scale labeled data in specific domains. Insufficient training data in target domain may lead to poor performance or even over-fitting problem. To alleviate the above problems, this project proposes novel end-to-end deep neural networks for cross-domain personalized task-oriented dialogue generation by studying three key parts: (1) build a cross-domain natural language understanding model, which creates domain descriptions for each domain and then incorporates these domain descriptions into deep neural networks, dealing with the domain drift problem in dialogue understanding; (2) propose a cross-domain dialogue management model, which learns dialogue states in an implicit way and queries the external knowledge base with attention mechanism and knowledge transferring model, overcoming the non-differentiable problem in retrieving the external knowledge base; (3) propose a cross-domain personalized dialogue generation model, in which a fine-grained personalized control mechanism is designed to transfer the shared general phrase-level knowledge between users while keeping personal preferences of each user so as to prevent the user privacy disclosure. The proposed task-oriented dialogue system is of significantly innovative and practical values. In theory, the task-oriented dialogue system can be promoted in-depth based on the cross-domain and personalized mechanisms; in application, the outcomes of this project can further promote the application of dialogue systems on a wider scale.

任务型对话系统旨在通过自然语言对话的方式帮助用户完成特定领域的任务，已成为当前自然语言处理和人工智能领域的难点和热点。现有任务型对话系统较少考虑用户的个性化需求，并且对特定领域知识和标注数据依赖较大，如果目标领域的训练数据太少会导致效果不佳甚至过拟合问题。本项目拟研究基于深度学习的端到端跨领域个性化任务型对话方法，主要研究内容包括：①结合领域描述信息，学习跨领域共享语义空间，建立跨领域对话理解模型，缓解对话理解中领域漂移问题；②研究对话状态的隐式表示，以此为基础建立融入知识库操作的跨领域对话管理模型，克服知识库查询操作不可微问题；③提出细粒度个性化控制机制，在用户之间迁移短语级用户共享特征并保留个性化特征，实现跨领域个性化对话生成方法，并防止用户隐私泄露。本项目具有重要的研究意义和应用价值，在理论上有助于丰富任务型对话系统的发展，在应用上有利于促进任务型对话系统在更大范围的推广和应用。

任务型对话系统旨在通过自然语言对话的方式帮助用户完成特定领域的任务，已成为当前自然语言处理和人工智能领域的难点和热点。现有任务型对话系统较少考虑用户的个性化需求，并且对特定领域知识和标注数据依赖较大，如果目标领域的训练数据太少会导致效果不佳甚至过拟合问题。本项目拟研究基于深度学习的端到端任务型对话方法，主要研究内容包括：①受大规模预训练语言模型的启发，本项目提出了一种新的半监督对话预训练框架，旨在将少量对话标注知识注入到对话模型的预训练过程中。该模型可以同时利用大规模无标对话语料和少量对话标注知识对模型进行有效的学习。②为了增强对话系统的领域泛化性，本项目提出了一种终身深度对话系统，旨在模拟人类的终身学习能力，利用从旧领域中学习到的知识快速迁移学习新任务，从而实现多个领域之间的知识共享。③本项目提出了一个个性化对话系统，利用多任务学习和强化学习的优势来生成个性化对话，可以为不同特征的用户生成高质量的个性化对话。④本项目提出了一种新的元合作学习方法，利用两个辅助推理任务（多轮对话推理和外部知识库）来帮助任务型对话系统生成包含精确实体的高质量对话响应。⑤本项目提出了一个分层语义-情感记忆模型，从大规模训练语料库中学习抽象的语义对话模式和情感信息，并将情感信息引入到对话系统中，辅助情感对话的生成。同时，本项目还构建了一个包含300万条样本的有标签对话集AnPreDial和一个包含1900万条样本的大规模无标签对话集 UnPreDial，用于高效的对话预训练。本项目所构建的对话语料和相关模型代码都已经开源，这将有利于推动任务型对话系统的发展。总的来说，在基金资助下，发表SCI检索JCR Q1期刊论文16篇和CCF-A/B类国际会议论文30篇，授权国家发明专利10项，培养硕士研究生5人。