数据驱动的大规模图像自动标注关键技术研究

With the explosive growth of online community and image sharing websites, a huge amount of images with few tags or no tags are being generated on the Web. This tag-incompleteness has posed a great challenge to the keyword-based image retrieval methods and systems. Data-Driven Image Auto-Annotation (DD-IAA) is an effective process for extracting semantic features from images. To automatically predict image tags, DD-IAA learns the latent relationship (mapping) between the semantic concept space and the visual feature space by leveraging the Web as an infinite semantic repository and knowledge base, and utilizing a variety of techniques in data mining, machine learning and computer vision. DD-IAA is a newly-emerged research area. It involves many fundamental theories and practical techniques, which makes its research significant in theory and useful in application. However, the existing methods for image auto-annotation have not yet been matured to support the tagging of large-scale Web images. To tackle this difficulty, in this project, we will make an in-depth study on DD-IAA. Our major research content includes: construction and maintenance of a Web image knowledge base; Web image tag processing; candidate tag selection and propagation, etc. With our own developed key techniques and algorithms, we will implement a semantic-aware image retrieval system based on DD-IAA. We aim to make some theoretical achievements, develop several novel techniques, and lay solid foundation on both theories and techniques for this kind of technology.

随着网络社区和图像共享网站的发展，网络中产生大量无标签或有很少标签的图像，这给基于关键词的图像检索方法带来了新的挑战。数据驱动的图像自动标注技术是一种有效的图像语义特征提取技术，其利用互联网这个近乎无限的语义仓库和知识仓库，通过数据挖掘、机器学习、计算机视觉等技术自动学习语义概念空间与视觉特征空间的潜在关联或者映射关系，来预测图像的标注。该技术是一个新兴的研究领域，包括众多基础理论和实用技术，其研究具有重要理论意义和广泛应用价值。现有图像自动标注技术尚不能满足大规模网络图像的标注需求，本项目将对数据驱动的图像自动标注技术展开研究，主要研究内容有：网络图像知识库构建与维护、网络图像标签处理、候选标签选择及传播等，并在以上关键技术与算法研究的基础上，研发基于自动标注技术的图像语义检索系统。本项目力争在图像自动标注的理论上有所突破，在技术方法上有所创新，为该项技术的理论研究和实际应用奠定基础。

图像标注是指通过计算机视觉、机器学习、数据挖掘等方法，让计算机自动地、客观地为图像数据添加能够准确描述其语义内容的文本标签。数据驱动的图像自动标注技术是利用互联网这个近乎无限的语义仓库和知识仓库，实现图像语义特征提取的方法。本项目对数据驱动的图像自动标注技术开展了深入分析与算法研究，主要研究内容有：网络图像知识库构建与图像K近邻检索技术、图像标签补全与去噪技术、候选标签选择及传播技术等，并在以上关键技术与算法研究的基础上，设计开发图像近邻查询与标注系统。在项目执行期间，提出了多种基于哈希的图像K近邻检索方法、基于线性稀疏重构的图像标签补全方法、多源环境下的图像自动标注方法、基于标签依赖随机搜索的图像标注方法等。项目执行期间，发表/录用论文26篇，包括IEEE Trans. Image Processing, IEEE Transactions on Cybernetics, IEEE Transactions on Multimedia, IEEE Transactions on Knowledge and Data Engineering等SCI期刊论文7篇，CVPR、ICCV、AAAI、IJCAI、ICML、SIG IR等CCF A类会议论文13篇，相关论文Google Scholar引用200余次；申请发明专利4项，其中1项已经获得授权；培养硕士博士研究生15名，其中4名学生先后获得清华大学优秀毕业论文。项目执行后期，对基于深度模型的图像描述技术进行了扩展研究，提出了基于参考LSTM的图像描述解决方案，在MS COCO数据集上的评测结果证明了方法的有效性，也为本项目的后续研究奠定了良好基础。