基于句法结构和语义框架的机器翻译自动评价方法研究

Automatic evaluation is not only a very important tool for machine translation research, but also an extremely important guidance for the direction of machine translation research. But almost all the current mainstream automatic machine translation evaluation metrics only consider whether the combination of several neighbour words in candidate translations appears in the reference translations, without the consideration that if the candidate sentence as a whole conform with the habit of human to make a sentence. Such metrics not only result in a low correlation with human evaluations, but also are not benefit to lead the machine translation research to a direct which can generate translations with better syntactic and semantic structures. The proposed project will research on dependency based automatic machine translation metrics. Compared with existing researches on syntactic or semantic based evaluation metrics, our method will only utilize the syntax structure of the reference translation, which will avoid the disadvantage of parsing on the machine translation results, and can obtain better correlations with human evaluation. Compared with existing researches on machine learning based metrics, our methods will have more universal for different natural languages and domains, without the necessary of parameter tuning for specific language and domain. We will also research on the machine translation decoding algorithm and parameter tuning method based on this metrics, which will lead to machine translation results with better syntax and semantic structure.

机器翻译自动评价是机器翻译研究的重要工具,也对机器翻译研究起着极为重要的导向作用。然而目前主流的机器翻译自动评价指标都没有考虑候选译文句子的结构，而是仅仅考虑参考译文的若干个临近词的组合是否出现在候选译文中，因而无法从总体上评判译文句子否符合人的造句习惯。这不仅使得现有的机器翻译指标与人工评价的相关度较低，也不利于引导机器翻译研究，使之趋向于生成更符合句法语义结构的译文。本项目将研究基于依存结构的机器翻译自动评价指标。与现有的基于句法语义的机器翻译评价研究相比，我们将仅利用参考译文的句法结构，避免将句法分析器作用于机器译文的弊端，并获得与人工评价更好的相关性。而与基于机器学习的机器翻译评价方法相比，本方法将具有更好的普适性，可用于任何自然语言和领域，并无需针对特定的语言和领域进行参数训练。我们还将研究基于该指标的机器翻译解码算法和调参方法，从而使之能产生具有更好的句法语义结构的译文。

机器翻译评价是机器翻译研究的关键任务之一。机器翻译评价不仅仅是用于评价机器翻译的好坏，而且引导着机器翻译的研究方向。本课题目标是研究基于句法结构和语义框架的机器翻译评价方法，已达到与人工评价更好的符合度。.本课题总体上完成了预期的目标，部分具体技术方案有调整，部分成果超出预期。.本课题提出了基于句法依存的两种机器翻译评价方法（RED和DPMF）和一种基于译文完整性的机器翻译评价方法（ENTF），这些方法可以更好的机器翻译译文和人工译文在句法依存结构和译文完整性方面的一致性，并且在WMT2014国际机器翻译评测任务中取得了很好的结果。另外，我们还研究了基于深度学习的机器翻译评价方法，发现神经网络方法可以为机器翻译评价提供一个很好的框架。.机器翻译人工评价是机器翻译评价的最终指标。近些年都柏林城市大学（DCU）的Yvette Graham博士对机器翻译人工评价进行了全面系统和深入的分析研究，提出了机器翻译的直接评估（Direct Assessment）方法。该方法已被WMT机器翻译评测采纳为官方的唯一人工评价方法，取代使用了8年之久的RR方法。我们与DCU开展了合作研究，对参考译文对机器翻译人工评价的影响进行了深入研究，通过大量实验研究和数据分析，证明了参考译文的选择并不会对DA方法的结果产生显著性影响。对DA方法的研究做出了贡献。.我们提出了多种基于融合机器翻译评价方法。我们提出了针对DA数据进行训练的融合的机器翻译自动评价方法Blend，采用很少的DA人工评价数据，就可以在各种语言上显著超过任何其他评价方法。该方法在WMT2017的机器翻译评估方法评测中，在大多数语种上都获得了第一名。.本项目发表论文11篇，包括顶级会议论文3篇。所开发的机器翻译评价方法的都以通过GitHub公开了源代码。培养了6名博士生和2名硕士生。