结合前馈和反馈机制的自然场景文本识别技术

End-to-end scene text recognition has important applications in human-computer interaction, image understanding, video retrieval etc. Currently, most researchers investigate text detection, segmentation, and recognition separately in the end-to-end system with a very limited performance. On the contrast, our project focuses on the end-to-end scene text recognition system by combining feedforward and feedback simultaneously. First, we propose a deep neural network framework with feature fusion, and construct efficient character and word classifiers. Second, we propose a feedback learning algorithm with vision features and classifiers' outputs, and investigate adaptive feedback strategies for scene text recognition. Third, based on the concept of Feed Forward Loop in Network Motif, we propose a new and whole strategy with feedforward and feedback in the end-to-end recognition system. Finally, based on our leading text detection technology and followed with the above novel methods, we construct a world-first-level-class system for end-to-end text recognition in natural scene images. The achievements of this project will include several important novel theories and technologies in character recognition, pattern recognition, machine learning, and image retireval.

自然场景文本识别（end-to-end scene text recognition），是人机交互、图像理解、视频检索等应用的重要技术手段。当前技术主要把文本检测、分割和识别等过程分离开来进行研究，而且具有非常有限的整体识别性能。本课题研究创新性结合前馈和反馈机制的端到端场景文本识别技术。首先，提出融合特征集成的深度神经网络架构，研究高效的场景字符分类器及词识别技术；其次，提出基于图像特征和识别输出综合学习的反馈技术，研究有效的场景文本识别信息反馈方法；第三，引入网络基序正反馈环前馈模式，提出全新的端到端场景文本识别信息前馈与反馈整体机制；最后，基于我们世界领先的自然场景文本检测与分割技术，并结合前述创新方法，构建世界领先水平的端到端场景文本识别技术。本课题的研究成果在文字识别、模式识别、机器学习、图像检索等方面具有较大的理论意义和重要的实用价值。

自然场景文本识别（end-to-end scene text recognition），是人机交互、图像理解、视频检索等应用的重要技术手段。当前技术主要把文本检测和识别等过程分离开来进行研究，而且具有非常有限的整体识别性能。本课题研究创新性结合前馈和反馈机制的端到端场景文本识别技术。首先，提出了融合特征集成的深度神经网络架构，构建了高效的场景字符分类器及词识别技术；其次，提出了基于图像特征和识别输出综合学习的反馈技术，设计了有效的场景文本识别信息反馈方法；第三，提出了的端到端场景文本识别信息前馈与反馈整体机制，构建了基于跟踪的视频文本检测与识别框架；最后，基于我们世界领先的自然场景文本检测与分割技术，并结合前述创新方法，构建世界领先水平的端到端场景文本识别技术。.在本项目的资助下，项目组成员共发表18篇SCI/EI检索期刊/会议学术论文，其中SCI论文10篇（含2篇IEEE Trans. Pattern Analysis and Machine Intelligence论文和2篇IEEE Trans. Image Processing论文）。特别的，项目组研究团队在2015年国际文档分析与识别大会Robust Reading Competition竞赛中，荣获“端到端自然场景文本识别(Generic)”、“端到端网络图片文本识别(Generic)”等四项冠军；在2017年国际文档分析与识别大会Robust Reading Competition竞赛中，又再次荣获“大规模真实场景端到端文本识别”（Challenge on COCO-Text）冠军。