基于典籍引得的句法级汉英平行语料库构建及人文计算研究

This research project aims to build a Chinese-English parallel corpus of ancient classics annotated at the syntactic level, and to further explore humanities computing. In order to fulfil the above aims, lexical knowledge of indexing ancient classics will be applied, and techniques of text mining and machine learning will be deployed. Besides, a Chinese-English syntactic parser will also be developed with reference to the English translations of ancient Chinese classics. Specifically speaking, the research project will proceed along the following steps: First, by using the lexicon in ancient classics index, the Great Chinese Dictionary and New Age English-Chinese Dictionary, a Chinese-English Dictionary of Ancient Classics will be made with the similarity algorithm. Second, a Chinese-English parallel corpus will be built with the alignment algorithm at the sentential level, and it will be annotated at the lexical level under the model of maximum entropy. Third, an automatic syntactic parser of function-collocation will be developed by making use of Penn Chinese Treebank, Penn English Treebank and a knowledge base of lexical collocation. Finally, based on the Chinese-English parallel corpus of ancient classics annotated at the syntactic level, a further exploration of humanities computing will be conducted from the perspectives of lexicon, text and edition.

基于典籍引得中有关词汇的标引知识，通过文本挖掘和机器学习的方法与技术，结合典籍对应的英语译文，在开发的汉英句法分析器的基础上，本课题拟构建句法级汉英典籍平行语料库，并在该库的基础上对人文计算进行相应的探究。本课题涉及到的主要研究内容如下：首先，基于典籍引得中的词汇，结合《汉语大词典》和《新时代英汉大词典》，通过相似度算法，构建典籍汉英双语词典。其次，在句子级对齐算法的基础上，构建句子级汉英平行语料库，并在最大熵模型的基础上，完成对汉英语料库的词汇级标注。其次，基于宾州汉语和英语树库，融合词汇搭配知识库，开发功能-搭配自动句法分析器，进而构建句法级汉英平行语料库。最后，基于典籍句法级汉英平行语料库，从词汇、篇章和版本三个角度完成对人文计算的探究。

在实施文化产业数字化战略的大背景下，基于深度学习、自然语言处理和文本挖掘等技术、方法和理念，如何基于典籍及翻译文本探究平行语料库的构建不仅有利于促进文化产业数字化的发展，而且对提升中国文化的软实力也具有重要的意义。将典籍汉英句子自动对齐问题视为候选句对分类问题，根据实验语料特点结合已有研究选取对齐句对特征，基于“整体分类”与“序列标注”两种不同的理念来识别候选句对中的对齐句对；采用涵盖经史子集四部的25部先秦典籍作为训练语料，在未加入任何人工特征的前提下，基于BERT构建了先秦典籍分词词性一体化标注模型。最终将模型应用于《史记》，并对史记中构成事件的四种基本词类（人名、地名、时间词、动词）进行了整体统计与个例分析；利用Bi-RNN、Bi-RNN-CRF、Bi-LSTM、Bi-LSTM-CRF、Bi-LSTM-Attention、Bi-LSTM-CRF-Attention、BERT等七种深度学习模型，以《楚辞》《公羊传》《谷梁传》等25本先秦典籍为实验语料，对人名、地名、时间词三种可以构成历史事件的实体进行识别；基于典籍英译文的句子多层级标注结果，对典籍英译文的词汇、词性、介宾短语结构等角度对典籍英译文语料的特征进行统计和分析；结合已构建的典籍平行语料库和所构建的相应分词、词性、实体和短语标注模型，融合知识图谱的相应方法和技术，本章构建了典籍自动问答系统。所构建的典籍问答系统涵盖了实体知识抽取、知识图谱构建和相应具体语义知识点的呈现及相应问题检索等几个部分的内容。