基于主干成分的句法统计机器翻译模型研究

Statistical Machine Translaiton (SMT) is one of the most important sub-fields in Natural Langauge Processing (NLP). While several methods have been succesfully developed in recent years, it is worth investigating new models that make better use of structures in (source-language) sentences as well as the skeleton information encoded in translation. In this proposal we study the skeleton-based model for syntactic statistical machine translation. The problems we address include automatic identification of chinese skeleton, the skeleton-based syntactic statistical translation model, training and decoding for skeleton-based statistical machine translation. The proposed methods/models make benefits from data-driven methods and the prior knowledge in real-world translation. This work is inspired and supported by the previous work of our group (Natural Language Processing Lab, Northeastern University). All the techniques developed in the project will be integrated into the NiuTrans open-source statistical machine translation system, which will be released to public under the support of this project.

统计机器翻译是当今自然语言处理领域的重要研究课题之一。虽然近些年来已经有一些成功的统计机器翻译模型被提出，如何更加充分的利用（源语言）句子的结构信息及句子主干信息来进一步提高翻译性能仍是十分重要且有待研究的科学问题。本课题研究基于主干成分的句法统计机器翻译及相关科学问题，内容涉及中文句子主干成分自动识别、基于主干成分的句法统计机器翻译建模、基于主干成分的句法统计机器翻译模型训练和解码等内容。本课题将以数据驱动的方法为指导，结合人们在翻译过程中形成的先验知识构建整个机器翻译框架。课题的选题及实施依托于申请人所在团队（东北大学自然语言处理实验室）在机器翻译方面研究的多年积累，课题的研究成果将全部集成到开源统计机器翻译系统NiuTrans中，无偿为学术界共享使用。

机器翻译是人工智能及自然语言处理领域的重要基础研究方向之一。现在机器翻译方法大多不考虑源语言结构信息，特别是源语言的句子主干信息在机器翻译建模中没有得到考虑。因此如何利用（源语言）句子的结构信息及句子主干信息来提高机器翻译的翻译品质仍是十分重要且有待研究的科学问题。本项目从基于句子主干的翻译建模、解码及模型训练方面开展了深入研究，研究内容包括：1）在翻译建模方面，研究了基于句子主干（或骨架）的的机器翻译模型，以及将该模型在基于短语和基于句法的模型中的集成方法；2）在解码方面，研究了树到串句法翻译规则在层次短语中的有效集成方法；3）在模型训练方面，研究了基于损失函数强化的句法机器翻译模型训练框架；4）在机器翻译和语言分析支撑平台构建方面，研发了NiuParser系统并升级了NiuTrans开源统计机器翻译系统。本项目的研究成果包括8篇高水平论文（其中5篇领域顶级会议及期刊论文，如AAAI、TASLP等），培养了1名博士研究生及5名硕士研究生，并标注了中文主干成分语料库。本项目的研究成果集成在NiuTrans开源系统中。NiuTrans系统于2016获得中国中文信息学会钱伟长中文信息处理科学技术奖一等奖。