模糊和畸变场景图像中的文字识别研究

Among researches of character recognition theory and technology,recognition of scene character image is the key technology for information understanding.When faced with image blurring and distortion,the scene text image almost can not be recognized correctly.It goes without saying the problem of image understanding and indexing based on recognition can not be solved either.Text recognition in degraded scene image is the key problem to be solved for high performance character recognition.This project will be conducted on the benchmark of scene character image recognition system.Based on the analysis of blurring,distorted and broken character images, we will focus on high accuracy character recognition research under these circumstances.The concrete research contents include blurring image restoration,distorted image correction,blurring and distortion invarient character recognition and feature extraction and recognition theory for broken character image theory.On the basis of these research results,a high performance scene character recognition system will be established. This project is significant for theory research since it involves multidisciplinary knowledge, such as image processing,pattern recognition and artificial intelligence.The research results could be extended and applied in content based image indexing,image information monitor on the network etc.

在文字识别理论和技术研究中，场景图像文字识别是图像文字信息理解的关键技术。在图像模糊和畸变条件下，场景图像中的文字几乎无法识别，后续的图像理解、检索更无从谈起。该问题是进一步发展高性能文字识别技术亟待解决的关键问题。本项目以场景图像文字识别系统为研究平台，深入分析模糊、畸变、缺损对场景图像文字识别性能的影响，重点研究退化场景图像中高性能文字识别理论和方法。具体的研究内容包括模糊图像自动复原、文本图像畸变校正方法、具有模糊和畸变鲁棒性的高性能文字识别方法、缺损字符图像特征提取及识别理论和方法。在以上理论和关键技术研究的基础上，研制成实用的场景图像文字识别系统。该项目的研究涉及图像处理、模式识别、人工智能等多个学科，具有重要的理论研究意义。研究的成果可以推广至基于内容的图像搜索、网络图像信息监控等领域。

在文字识别理论和技术研究中，自然场景图像文字识别是图像文字信息理解的关键技术。 图像模糊和畸变是实际成像过程中常有的问题，此时的文字几乎无法识别，后续的图像理解、检索更无从谈起。该问题是进一步发展高性能文字识别技术亟待解决的关键问题。.本项目主要包括三方面研究内容：.1.研究图像盲恢复算法解决图像模糊问题。首先提出了基于图像边缘选择的模糊图像盲恢复算法。研究过程中发现在原始图像分辨率条件下做复原无法达到像素级别的清晰度，于是我们探索了基于超分辨率分析和模糊图像盲恢复相结合的算法，一定程度上克服了该问题。.2.研究文字图像的畸变矫正算法。针对自然场景中标牌等字符少、背景复杂情况，提出了一种基于J-Linkage聚类的消失点检测的校正方法；针对文档图像透视畸变，提出了基于文字行消失点的校正方法；针对文档图像任意弯曲表面造成的畸变，提出了一种基于连通域聚类的行切分算法与基于插值的恢复算法。这些方法能够有效解决常见的文字变形畸变问题，并在我们的THOCR软件中得到应用和推广。.3.针对视频图像和文字识别问题，提出了针对序列图像的特征变换降维方法，将传统的LDA等降维方法扩展到时间维上，利用前后帧图像上的信息共同计算特征降维，有效提高了特征的鉴别能力，从而提高识别率。.另外，本项目对作为工具的深度卷积神经网路CNN的学习方法和压缩方法等进行了研究。.本项目的研究涉及图像处理、模式识别、人工智能等多个学科，具有重要的理论研究意义和实用价值。研究的成果可以推广至基于内容的图像搜索、网络图像信息监控等领域。.项目发表论文12篇，其中包括SCI索引3篇，EI索引12篇。申请发明专利2项。