基于局部特征的自然场景下文字定位和识别研究

Our goal is to read text from an image in natural scenes. There are many applications for such a technology, for example, recognizing sign from natural scenes, license plate recognition, image and video search engine and web mining. However, low image quality, complex background, deformation and variations of text make these problems challenging. Our research includes: (1) Propose a LCR model based on the research works of object recognition and image retrieval, design a framework of text localization and recognition using local features, and design algorithms of geometric verification and template images generation. (2) Propose algorithms of local features detector and descriptor for text, and develop methods of text localization and font recognition. Although there are still many works are needed toward a mature application for the local features method. Local features which are distinctive and robust to noise, complicated background, and many kinds of geometric and photometric deformations. Moreover,as our prior works show, local features matching could be potentially extended to text recognition problems. Our research work will build a platform of text localization and recognition using local features, and will provide basis of theoretical and practical for research of text localization and recognition in natural scenes.

自然场景中的文字定位和识别在互联网信息理解/智能交通等众多领域具有重要的应用价值，但该研究面临复杂背景、低图像质量以及文字变形等诸多挑战。本课题研究包括:（1）结合图像检索/物体识别领域的研究方法和成果，提出LCR模型，并基于该模型设计基于局部特征的文字定位和识别总体架构，设计几何约束算法和样本库构建算法；（2）研究文字结构及统计特性，提出一种面向文字的局部不变性特征检测及特征描述算法，并研究利用局部特征改进文字定位/字体识别的方法。目前基于局部特征的方法尚处于起步阶段，该方法基于局部特征本身具有不变性特征（旋转不变性、尺度不变性、仿射不变性、灰度不变性等），在解决复杂背景与布局、低质量及文字变形的挑战方面展现了巨大的研究潜力。本课题将结合申请人已有的研究成果，形成文字定位和识别系统的研究平台，为自然场景中文字定位和识别提供理论依据和实践基础。

图像文字识别是目前数字图像处理和内容识别领域的一个重要研究方向。与扫描图像相比，自然场景图像文字识别存在以下挑战：1、文本字体和笔画粗细多样；2、文本字符排列布局多样；3、背景和纹理复杂多样；4、相机视角与载体扭曲引起字符几何形变；5、光度不均与噪声导致图像解析度低下等特性。上述特性使得针对复杂背景和自然拍摄图像的文本识别成为一个具有困难和挑战的问题。常用的基于光学字符识别（OCR）的方法在处理自然场景图像时，不仅受到前期文本定位与切分等预处理技术的影响，同时由于OCR对输入图像在文本结构规范上的要求与限制，使得目前基于OCR技术的识别方法在自然场景图像文字识别中存在较大的局限性。本文在实验室前期图像和文字处理研究的技术积累上，提出将局部特征、卷积神经网络相结合应用到图像文字识别的新框架LHCR(Local Feature and High-Dimension based Character Recognition)，有效实现了自然场景的图像文本识别。我们的图像文字识别框架区别于基于OCR的传统识别框架，而是将局部特征高维检索、卷积神经网络相结合，利用文字具有明显的纹理信息和结构信息的特点，实现自然场景图像文字识别。框架内容包括： 1）计算机自动构建模板文字图像库，有效防止样本类别缺失和极大的降低了人工收集样本的成本；2）基于局部特征的定位切分方法，将识别和定位相结合，最大限度降低识别误差；3）采用卷积神经网络框架实现识别流程。我们在该框架下实现一个通用的图像文字识别系统，系统的创新点包括：（1）使用卷积离散自编码器算法来进行非监督学习，可以使用无标注的图像对卷积神经网络进行预训练。（2）使用文字结构部件检测器提取文字结构特征，根据不同的文字结构部件构建了不同尺寸的卷积窗，丰富了图像特征的数量，增强了特征描述的独特性。（3）使用空间金字塔模型增强了卷积神经网络的尺度不变性，并使用多输入的深度置信网络作为全连通网络，有效整合了提取到的特征，增强了特征表达的准确性和区分能力。我们使用一个多语言的文字检测数据库对算法进行评估。该数据库将中文、英文和数字区域进行了单独标注。实验结果表明我们的中文字检测算法比基本算法提高了11%。本文的研究结果已成功应用于973项目、863项目和上海市科委项目。