面向交互式问答的问题理解及问题推荐技术研究

With the emerging of Siri and Waston, interactive question answering (iQA) technique becomes more and more attractive. Question answering (QA) robot based on automatic question understanding and answering is widely applied to online customers of corporations, consultations of education and government affairs, etc. This study mainly focuses on the following techniques: 1) Question understanding technique. For the existence of sub-questions, the amount of ellipsis and the intrinsic problems of the matching based retrieval models on question retrieval task, the techniques of question decomposition, ellipsis sentence identification and recovery on dialogue and question term weighting are proposed in this study. 2) Similar and relevant question recommendation. When question descriptions are absent, the similar and relevant question recommendation techniques are integrant in iQA systems. In this study, we will perform the similar and relevant question recommendation work based on the machine learning and natural language processing approaches. The substantial theories proposed by this study are basis for prevalent research. Furthermore, the development of iQA can be boosted by the key techniques of this study, such as term weighting, ellipsis recovery on dialogue, etc.

随着Siri及Waston的出现，交互式问答技术越来越引起人们的关注。问答机器人以自动的方式对问题进行理解和回答，在企业在线客服、教育、政务咨询等方面有着广泛的应用。本项目主要开展以下几个的方面的研究：1）问题理解技术。针对交互式问答中，问句中存在子问题、大量的省略现象以及基于匹配的检索模型无法很好解决的问句检索问题，本项目开展了问句拆分、对话中省略句判别及恢复及词项赋权等技术的研究。2）相似、相关问题推荐技术。当用户无法很好给出问题的描述时，相似、相关问题的推荐在交互式问答系统中就显得格外重要。本项目在机器学习和自然语言处理方法的基础上，开展了相似、相关问题推荐技术的研究。本项目的研究内容对于相关研究提供了重要的理论基础；词项赋权、对话中省略恢复等核心技术的研究，对于推动交互式问答技术有着重要的价值。

本课题对交互式问答技术中的两大关键问题—问题理解技术和问题推荐技术进行研究。交互式问答系统中，用户的问题都是通过自然语言的形式提出的，如何能够让问答系统正确有效地理解这些问题是关键的技术之一。对于问题理解技术，本课题展开研究了省略恢复现象、问句拆分、文本复述等几大关键研究点。深度学习方法在人工智能领域取得了空前的发展，尤其是在自然语言处理、图像处理和语音识别等方面取得了重大的突破，已经成为世界上研究者的热门话题。深度学习模型由于其多层次结构的特性，决定了他在抽象输入数据，高层次表示数据上的优势。随着层数的加深，其表达能力也有着相应的提高。本课题利用前沿的深度学习技术和机器学习技术取得了令人满意的研究成果。在省略恢复研究中，针对省略恢复的特点，设计了基于循环神经网络的模型，旨在提高模型利用不同候选先行语之间的关系的能力，建模彼此之间的信息，帮助更好的进行恢复。本课题还创新性的提出了对于问句关键词提取问题的深度学习解决方案，构建了基于LSTM模型的问句关键词提取方法，用LSTM网络结构对问句建模，从而能够有效获取词级别语义信息。针对复述问题，本课题提出了词汇级复述和短语级复述两种方法，通过词和短语的向量表示得到两个高质量复述词表，并利用这个词表进行问句复述。在另一方面，我们还针对问题推荐技术进行了研究。针对用户提出的新的查询，我们通过判断问题相似，在历史纪录中检索与之相似的已解决问题，并将这些问题的答案推荐给用户，从而避免用户的重复提问，也方便用户更快速地获取问题答案。本课题着重探究了如何计算问句之间的相似度并利用这个信息进行问句推荐。为了能更好的计算问题间的相似度，我们将问题关键词和问题主题视为关键信息，利用这些信息辅助神经网络模型进行计算。我们构建了基于文本间相似信息和相异信息的CNN模型，并在其基础上融合了问题主题间相似度作为特征和关键词提取技术。综上，本项目的研究内容对于相关研究提供了重要的理论支持，对于推动交互式问答系统技术有着重要的价值。