海量可视媒体信息管理的索引技术研究

With the explosive growth of visual media including images and videos, the management of massive visual media becomes a hot topic in the research fields. In the management of massive visual media, it is a key problem how to build effective indexing mechanism for optimizing the massive visual media retrieval and other processing technologies. In this project, we focus on the indexing mechanism of massive visual media. Firstly, we find problems about the existing local information indexing based on bag-of-visual-words (BOVW) from three respects: the selection of feature space, the building of visual vocabulary and the definition of visual phrase. To address these existing problems, we propose a new visual dictionary indexing consisting of visual words and visual phrase. Secondly, to overcome the defects in the local information indexing, we focus on the problem how to build the global information indexing based on the mode-seeking technology. According to research about mode-seeking, we propose a new compound indexing mechanism based on multilayer mode-seeking. Finally, we build the experiment platform of visual media information retrieval and the performance analyzing system to verify our research results.

随着图像、视频之类的可视媒体信息数量与日俱增，海量可视媒体的管理已成为热门研究领域。在海量可视媒体管理的研究中，如何构建合理的可视媒体索引机制属于核心问题，是优化海量可视媒体信息检索等多项处理技术的基础。 本项目将针对可视媒体索引机制展开研究工作。工作中首先对视觉词包索引，该项最具代表性的局部信息索引机制进行研究，分别从特征空间的选择，视觉词表的构建，视觉短语的定义三个方面来对现存问题进行分析，找出解决方案，提出具有自主创新性的基于视觉单词与视觉短语相融合的视觉词典索引机制。其次，针对局部信息索引机制所存在的缺陷，研究如何在模态探索技术基础上构建可视媒体的全局信息索引，并通过对其扩展形成一套全新的基于多层模态探索的复合型索引机制。最后，搭建海量可视媒体检索平台，以及相应的性能评测系统，对项目研究成果进行统一验证。

近年微信、视频点播、在线游戏等互联网应用的普及极为迅猛，在此推动下，互联网中图像、视频之类的可视媒体信息量呈爆炸性的增长。如何对可视媒体信息进行有效管理，是本项目关注的核心问题。针对这一问题，本项目围绕可视媒体信息管理中的索引机制展开深入而细致的研究工作。项目重点聚焦在三个层面：视觉词包索引机制的改善方法，基于模态探索的新型索引机制，以及海量可视媒体检索平台的构建方案。. 项目整体工作依照研究计划循序渐进执行，在上述三个重点层面上依次取得具有创新性的研究成果。在视觉词包索引机制的改善方法层面，提出一种新型高效的多视觉词典索引机制，并且在实际应用中构建了适用于移动视觉检索的多视觉词典索引。在基于模态探索的新型索引机制层面，提出基于“亲和力”扩散的代表点索引机制，并且分别应用到基于形状的可视媒体检索和移动视觉检索两类不同实际应用中。在海量可视媒体检索平台的构建方案层面，构建了基于Android移动终端的海报图像检索系统原型作为项目成果验证平台，同时与国内知名互联网公司神州数码就该平台的应用完善达成合作意向，奠定成果产业化的基础。. 在整个项目的研究过程中，已发表相关学术论文近20篇，其中包括IEEE Trans. on Multimedia, IEEE Trans. on Communications, IEEE Trans. on Network and Service Management, Information Sciences, ACM Multimedia, IEEE ICME等国际著名学术期刊及会议文章8篇。获得国内发明专利授权1项；获得国际会议最佳论文奖1项。在项目支持下，项目负责人获得日本学术振兴会外国人特别研究员，首批大连市青年科技之星等人才称号。当前项目研究工作也逐步从上层面向可视媒体管理的索引机制向底层面向可视媒体计算的体系架构及调度算法来过渡，并获得一定初期研究进展，为项目后续延伸工作奠定了扎实的基础。