可比语料库质量量化与提升方法研究

Recently, researchers have paid much attention to comparable corpora that can be used in various NLP tasks in restricted domains or language pairs where parallel corpora do not exist in high volume. Previous work mining knowledge from comparable corpora has mostly been trying to improve the mining algorithms themselves and has met with a bottleneck in terms of performance. It is intuitive that the performance of NLP tasks should benefit from better quality of comparable corpora, a fact that has been largely ignored in existing work. We thus plan to investigate in the project approaches for measuring, evaluating and enhancing comparable corpus quality, as well as the impact of those approaches on NLP tasks. To be exact, we will make use of the external word feature and the internal topic feature to measure the corpus quality. In order to evaluate the comparability measure, several performance metrics will be developed on top of test corpora with gold-standard comparability levels that resemble corpora in real-world applications. Efficient strategies will then be designed for hierarchical clustering and sub-cluster choosing so as to enhance the quality of existing corpora. Lastly, the application part will rely on such applications as bilingual lexicon extraction and CLIR to validate the overall idea of the project. The project can help to reveal the importance of corpus quality and to facilitate research work on comparability measure development and evaluation. As for applications, the performance of related NLP tasks will benefit a lot from approaches proposed in the project.

鉴于平行语料库在某些领域和语言对上的稀缺性，可比语料库近年来受到了研究者的重视并已被成功应用于多种应用任务中。已有的基于可比语料的知识挖掘工作大多关注挖掘算法的优化，它们的发展已经遇到瓶颈难以提升。以提升可比语料质量来间接提升挖掘算法的性能是一种符合直观经验的思路，但现有工作大多忽视了可比语料的质量差异及其对应用性能的影响。鉴于此，本项目将系统研究可比语料质量的量化、评测、提升方法以及对实际应用的影响。在质量量化上，可比度指标综合考虑了外在词汇特征和内在主题相关性特征；在可比度性能评测上，我们设计了与真实语料相似且可量化的基准测试语料和性能评测指标；针对可比语料质量提升，项目采用了高效的层次聚类策略和子聚类选择方法；最后，应用部分通过双语词典抽取和跨语言信息检索任务来检验项目整体策略的有效性。本项目对揭示可比语料质量的重要性，对可比度指标的设计、评测以及相关应用性能的提升都有重要价值。

随着世界各国间交往的日益密切，语言障碍成为了阻碍交流效率的一个重要因素，跨语言自然语言处理技术是解决这一问题的重要技术手段。在跨语言自然语言处理任务中，可比语料库是近来受到较多关注的一种基础性资源。互联网上包含大量的可比语料资源，搜集和构建成本不高，但可比语料的质量波动可以很大，这对依赖于语料质量进行的自然语言处理任务将带来显著影响。鉴于此，本研究项目提出对可比语料的质量进行量化和提升，以此来保证基于可比语料进行的信息抽取具有可靠的质量。本项目的研究内容可以划分为语料质量量化、质量提升和应用三块：第一块主要研究对给定的可比语料质量进行量化描述的方法，第二块研究提升低质量可比语料的策略，第三块则通过应用任务来展示上述各方案的有效性。对于可比语料库质量的量化，项目组提出了融合浅层和深层模型的跨语言文本相似度评价方法，实验结果表明，这一量化方法具有理想的准确度和可靠性。针对语料质量提升，项目组以前期工作中已有的基于聚类策略进行高质量可比语料提取的基本思想为核心，重点对原技术在海量文本环境下计算效率不高的问题进行了改进，提升了算法的效率。在应用任务上，项目组主要依据信息检索模型来展示上述相关技术的效率。在此我们提出了一些新颖高效的跨语言知识与信息检索模型的融合策略。结果表明，从高质量的可比语料库中抽取出的词典资源与跨语言信息检索模型的融合可以显著提升信息检索任务的性能。此外，结合研究机构背景，项目组将搜集的大规模可比语料用于语言监测任务，展示了可比语料服务于语言文字工作的能力。本项目的研究成果对于认识可比语料库的质量特征以及指导高质量可比语料库的构建与应用都具有较大价值。