基于深度强化学习和路径积分特征图的自然场景文本检测与识别

As is known, the text of natural scene is the key of scene understanding. However, there is a big gap between the human cognition level and current technologies of scene text detection and recognition. This project proposes a new approach for natural scene text detection and recognition, based on deep reinforcement learning and iterated path integral feature map, in an effort to solve such key issues as the modeling of scene text representation, orientation-invariant scene text detection and segmentation-free scene text recognition. The innovative key issues we study are as follow, namely the new model of scene text representation based on iterated path integrals, orientation-invariant scene text detection based on deep reinforcement learning, segmentation-free scene text sequence recognition based on MDLSTM-CTC. The project involves multidisciplinary technological theory, which includes computer vision, machine learning, pattern recognition, image processing, document information processing and so on. And a new generation of scene text detection and recognition approach this project develops is expected to break the current technological bottleneck, providing the significant applied value.

自然场景中的文本是场景内容理解的关键，然而，目前的场景文本检测与识别技术与人类认知水平有很大差距。因此，本项目提出基于深度强化学习和路径积分特征图的自然场景文本检测与识别的新方法，解决场景文本表达建模、方向无关场景文本检测和隐分割场景文本识别等关键技术难题。重点研究的创新性关键问题如下：（1）基于路径迭代积分的场景文本表达模型；（2）基于深度强化学习的方向无关场景文本检测方法；（3）基于MDLSTM-CTC的隐分割场景文本序列识别方法；本项目涉及到计算机视觉、机器学习、模式识别、图像处理和文档信息处理等相关学科的理论技术，所研究的场景文本识别方法有望突破现有技术瓶颈，具有很好的技术应用前景。

自然场景中的文本是场景语义理解的关键，然而，目前的场景文本检测与识别技术与人类认知水平有较大差距。因此，本项目提出基于深度强化学习和路径积分特征图的自然场景文本检测与识别的新方法，解决场景文本鲁棒表征建模、场景文本检测和场景文本识别等关键技术难题。根据项目申请报告的研究内容和技术路线，结合研究过程中出现的新问题和新热点，本项目主要针对以下四个方面进行了较深入的理论及应用研究：. (1) 场景文本鲁棒表征模型设计，为后续的场景文本检测和识别算法做铺垫。. (2) 场景文本检测算法，探索将强化学习应用到场景文本检测中，基于Faster RCNN和Mask RCNN等主流目标检测方法研究新的场景文本检测算法，实现任意形状的场景文本检测，并提出新的紧致感知指标评价场景文本检测算法的性能。. (3) 场景文本识别算法，从建立端到端的识别网络、重点关注文本特征、减小计算代价、充分利用字符笔划等角度出发，研究新的场景文本识别方法。. (4) 面向特定场景的OCR实际应用，包含智慧教育和古籍文献检测与识别等场景。. 本项目实现了预定的研究目标，共发表SCI/EI 收录论文56篇，其中SCI论文26篇(IEEE Trans. 3篇，PR 4篇)，EI论文30篇(NeurlPS、AAAI、CVPR等领域顶会论文6篇)，申请中国发明专利9项，其中4项获授权。另外，依托本项目，项目组与联想（北京）有限公司合作申报获得吴文俊人工智能科技进步奖二等奖，培养一名教师晋升教授，一名教师晋升高级实验师，申请人指导多名研究生获得“PRCV 面向自动阅卷的OCR技术挑战赛文字识别任务一等奖”，“中国创新挑战赛智慧教育专题赛三等奖”，以及互联网+大学生创新创业大赛国赛金奖。. 总之，本项目组超额完成了研究内容，取得的各项成果均超过预期目标。