无指导汉语文本挖掘的统计模型和统计推断

In recent years, large quantities of digitalized Chinese texts can be easily collected. There is great appeal in developing text mining tools to automatically extract information from these data. In past, most theoretical and methodological studies on Chinese text mining are done by computer scientists, who have developed many powerful methods for supervised learning with labeled corpus as training data. In practice, however, it’s very often that no training data are available for a practical problem. Moreover, current methods usually deal with key problems in Chinese text mining, such as text segmentation, word discovery and named entity classification, separately. However, these problems in fact are entangled together, and it’s not quite right and usually inefficient to attack them one by one independently. Instead, joint analysis is the most reasonable and efficient solution to Chinese text mining. Unfortunately, almost no available methods can achieve joint analysis properly. Here, we propose a solution to this challenging problem by introducing novel statistical models and corresponding inference algorithms. The new solution incorporates key problems of Chinese text mining into a joint model, and thus overcomes a major limitation of many other methods. More importantly, the new method can discover patterns on word usage and grammar structure from texts based on statistical principles without the help from training data and pre-given grammar rules, and use the discovered patterns to improve the analysis.

近年来，大规模数字化汉语文本可以方便地收集到。对这些文本的自动处理和信息提取有迫切需求。长期以来，汉语文本挖掘的理论和方法研究主要在计算机科学领域展开，已取得诸多成果。但是，现有方法大都是有指导的方法，需要使用 “语料库” 作为训练数据。但在许多实际问题中，获取有代表性的“语料库”非常困难。另外，现有方法大都将分词、未登陆词识别和命名实体分类等关键问题分开处理。但这些问题实际上是相互缠绕，互为因果的。将它们整合在一起联合处理是解决问题的最佳途径。但现有文本分析技术大都无法实现这一点。本项目提出了一种基于统计模型和统计推断来分析汉语文本的新方法。该方法将汉语文本挖掘的几大关键问题纳入一个系统的统计模型下做整体处理，克服了已有方法的重大缺陷。新方法有很强的自主学习能力，可以在没有训练数据和语法规则指导的情况下，运用统计学原理自主发现文本的用词和语法规律，并利用这些规律完成文本分析任务。

近年来，大规模数字化汉语文本可以方便地收集到。对这些文本的自动处理和信息提取有迫切需求。长期以来，汉语文本挖掘的理论和方法研究主要在计算机科学领域展开，已取得诸多成果。但是，现有方法大都是有指导的方法，需要使用 “语料库” 作为训练数据。但在许多实际问题中，获取有代表性的“语料库”非常困难。另外，现有方法大都将分词、未登陆词识别和命名实体分类等关键问题分开处理。但这些问题实际上是相互缠绕，互为因果的。将它们整合在一起联合处理是解决问题的最佳途径。但现有文本分析技术大都无法实现这一点。..本项目提出了一种基于统计模型和统计推断来分析汉语文本的新方法。该方法将汉语文本挖掘的几大关键问题纳入一个系统的统计模型下做整体处理，克服了已有方法的重大缺陷。新方法有很强的自主学习能力，可以在没有训练数据和语法规则指导的情况下，运用统计学原理自主发现文本的用词和语法规律，并利用这些规律完成文本分析任务。本项目的研究给出实现该方法的数理模型和相关理论，编写了高效率的程序，并申请了国家发明专利。..相关方法在医疗文本、古代文献、政务文本分析等方面的应用中，展示出了极大的应用价值。对提升我国在大数据时代的文本处理和信息分析能力有着潜在的战略意义。