基于相机的低质量文本图像的复原与增强关键技术研究

With the popularity of cheap and portable cameras, camera-based document image processing and analysis becomes a very hot topic of high research values and broad application prospects in recent years. On the basis of the current progress of our national youth science fund project, we intend to study the correction and restoration of document images captured by hand-held cameras. These images are often corrupted due to many factors, such as camera perspective, surface curling, camera shaking, defocus and insufficient resolutions. Our study attempts to exploit the nature of these problems and establish a related basic theory under some reality constraints and reasonable assumptions, so as to propose a practicable solution and give rise to a set of key technologies on these challenging issues. Finally, effective algorithms will also be designed to enhance and restore the captured low-quality textual images. The achievements of this project will benefit many applications, including the new generation of high quality document images capture, online text analysis of intelligent mobile terminals and textual evidence collection in video surveillance.

基于相机的文本图像处理和分析是伴随着便携式相机的大量普及而快速兴起的一个崭新的研究领域，具有十分重要的研究价值和广阔的应用前景。本项目结合申请人正在承担的青年科学基金项目的当前研究工作进展，拟重点研究因相机透视效应和文本所在物理曲面弯曲等因素而引起的图像畸变，以及因相机抖动、失焦、相机分辨率不足等因素导致的字迹不清，探求并分析这些问题产生的内在机理，研究与其相关的基础理论，在综合考虑问题的现实约束并引入合理假设的基础上，提出问题的解决方案并开发所需的关键技术，最后设计高效实用的算法，实现低质量文本的复原与增强。本项目的研究成果可为新一代高质量文本图像采集、智能移动终端的在线文本分析以及视频监控场景下的文字取证等众多现实应用提供技术支持和保证。

相机在文档的数字化过程中发挥着重要的作用。然而，用相机在对文档进行成像时，由于相机的透视以及文档页面的弯曲，得到的文档图像常常伴随严重的非线性质量退化，出现如字迹模糊、文字畸变、图像阴影不均、图像分辨率下降等现象，进而严重影响后续对文档图像的分析和识别。针对这些问题，在本项目资助下，我们开展了系列深入的研究，先后提出了：.1）基于主动式结构激光线的畸变文档图像畸变矫正和阴影补偿方法；.2）基于曲线投影的畸变文档基线的提取方法；.3）基于字典学习等的图像去模糊方法；.4）基于深度卷积网络的退化文档图像二值化方法；.5）基于向量回归的图像质量评价方法；.6）基于深度网络集成的图像超分辨率方法等;.此外，在项目资助下，我们还对与图像增强和复原相关的系列问题开展了深入的研究，在图像精细目标分割、图像重复结构检测、自然图像增强以及图像聚类等问题上也取得了一些重要的理论和技术突破。.本项目共发表研究论文33篇，其中期刊论文16篇，包括本领域顶级期刊IJCV长文2篇，IEEE TMM1篇，PR2篇，IEEE TCSVT1篇以及Neurocomputing3篇。发表国际会议论文17篇，包括本领域顶级会议ICCV2篇(其中口头报告1篇), CVPR口头报告1篇，以及ICIP5篇, ICASSP5篇。项目还申请国家发明专利4项，其中3项获得授权，1项目前正在实质审查。在项目资助下，申请人和团队成员还积极开展国际学术交流活动。申请人受邀参加了本领域顶级会议CVPR2014和ICCV2015，并在分会场作口头报告。此外，申请人还应邀于2015年5月赴荷兰代尔夫特理工大学开展短期学术交流活动，并于2017年赴美国西北大学开展学术交流。受项目资助，团队多名成员赴日本、美国等累计开展国际学术交流6人次。基于项目的研究成果，项目团队还开发了用于高质量文档数字化成像的原型系统。目前我们正积极推动该研究成果的商业转化。