基于词语相似关系的统计数据平滑研究

语料库统计方法是支持下一代网络自然语言处理功能的关键技术，但这一方法有许多基础性问题尚无深入研究，以致相关应用系统的性能提高受到很大局限，其中尤以数据稀疏问题为甚。缓解数据稀疏问题的平滑方法中，常用的插值方法不适合估计低频词预测问题，阶次回退法存在本质的矛盾，词类平滑方法过于粗糙。本课题深入分析了语料库统计方法的需求和汉语的实际，创性地利用词语相似关系进行平滑，并采用线性邻接属性计算相似度，需要研究相似度计算、同形异质词认定与排歧以及利用相似度的平滑算法。这些方法将集成到本项目组已经取得的关于线性文法的成果中去，改善语料库统计方法的性能，支持下一代网络的文本信息处理功能。