基于Constellation模型的自然场景文本检索方法研究

自然场景中文本的识别与检索是近年来字符识别领域研究的一个热点问题，现有的研究方法大多以传统的OCR技术为基础，首先检测和定位场景图像中的文本，然后分离字符前景与背景，OCR识别字符，最后检索文本。然而自然场景图像同传统的扫描文本图像存在着明显的差异，字符文本存在于杂乱的背景之中，拍摄视角的不同造成文本具有较大的几何变形，存在光照变化、字符颜色不统一的现象，字符可能发生局部破损、断裂和被遮挡，这些现象造成了此项研究到目前为止很难取得令人满意的结果。本项目提出将Constellation模型引入场景文本检索的研究，利用图像的局部特征描述对场景字符建模，通过模型组合实现对自然场景图像中文本关键词的直接检索，避免了传统研究方法在检测，背景分离和识别中所遇到的困难。本项目为自然场景文本识别与检索开辟了一种新的研究思路，将推动此领域研究的进一步发展。

本课题针对自然场景图像中文本信息的检测与识别方法进行了研究。首先提出了一种基于局部特征和Constellation模型的场景文本识别新方法,该方法利用字符上具有显著性的局部区域集合表征整个字符，然后利用Constellation模型来描述局部特征的表观以及局部特征间的位置关系。这一方法可以有效地适应场景图像中背景杂乱、光照不均、摄影机参数不确定、字体字形多变以及不平整表面等不利因素对识别和检索所造成的影响，提高了场景文本识别的鲁棒性。同时我们还提出了一种基于随机投影的场景文本聚类方法，该方法可以高效地自动归类收集到的文本图像样本，为文本识别与检索方法的学习打下了良好的基础。. 为了提高自然场景图像中文本识别与检索的计算效率，在本课题中我们对局部特征选择方法和文本区域检测进行了研究。提出了一种基于笔迹宽度信息的局部特征选择方法，该方法利用字符上局部特征的尺度与图像中的笔迹宽度信息来选择出与文本相关的局部特征，从而减少了需要处理的局部特征数量，提高了算法的运算效率和准确率。此外，我们还提出一种基于局部特征的多尺度文本区域检测方法。在文本区域分类器训练过程中，提出了一种多示例半监督学习方法，有效地解决了分类器训练过程中存在的未知参数问题。最后，我们将课题提出的算法应用于ICDAR及微软数据集，实验结果表明，本研究所提出的场景文本识别与检索方法具有较高的准确性和鲁棒性。