基于内容的大规模近似图像检索及挖掘技术研究

Due to the introduction of Web 2.0 and the wide availability of smart phone and various digital devices, there are billions of multimedia resources in Internet. Motivated by the typical image/video search requirement by the Internet daily users, this project focuses on studying algorithms and techniques of high scalable and highly parallelizable for web image search and hyper-linking. The research covers image feature representation, design of high dimensional data indexing structures and building hyper-links in large-scale image collections. Several fundamental and key issues of the relevant areas will be explored. .As the major contribution in the proposal, a novel feature representation is proposed, which enhances the discriminativeness of existing feature. In the meantime, the high dimensional feature could be decomposed into dozens of low dimensional features, that decreases the complexity of nearest neighbor search. Moreover, an improved approach for nearest neighbor search is studied. In this new approach, it decreases the chance of missing targeting nearest neighbor, while speeding-up the search in the meantime. In addition, a highly parallelizable image hyper-linking algorithm is proposed, in which Hamming embedding based verification has been introduced. In the meantime, a novel geometric embedding is also studied. With these two verification schemes, the proposed algorithm is able to decrease the memory and computational efficiency of image hyper-linking considerably.

随着Web 2.0的引入以及各种便携式移动多媒体设备，如智能手机，数码照相机等的普及，互联网上有着数以千亿的多媒体资源。项目以互联网用户对基于内容的图像及视频检索需求为背景，探索具有高可伸缩性的、可高度并行的网络图像检索及超链接生成算法。研究内容包括提出新的图像特征表示方法，改进高维数据检索结构以及探索在大规模图像集合上建立超链接的高效算法。研究涉及计算机视觉，大规模信息检索领域中的基础性问题，属于相关领域的关键技术。.项目提出了新的图像特征表示方法，既增强了特征的区分度，又以新颖的方式实现高维特征的维度分解，从而降低最近邻检索的难度。另外，对现有的最近邻检索算法提出改进方案，新方案避免潜在最近邻丢失的情况，同时加快检索过程。此外，项目提出可高度并行的图像链接生成算法，并且引入海明嵌入验证。同时，项目提出新颖的几何嵌入验证方法。基于这两种验证方法，算法有效降低链接生成的时间和空间复杂度。

随着网络多媒体，以手机为载体的多媒体应用的迅速普及，产生了海量的图像和视频数据。对这些海量的图像和视频数据进行检索以及挖掘是极富挑战性的课题。一方面，这是一个具体的应用问题。另一方面，它所涉及的科学问题又属于计算机视觉和信息检索领域的基础性问题，因此对于该问题的探索既有应用价值又有理论意义。. 项目分为图像特征表示和高效检索结构设计两个模块展开研究。首先探索了基于协变VLAD特征表示，将一幅图上千个局部特征压缩为一个特征，同时尽量保持了局部特征的集合不变性。为了支持建立图像间超链接的需要，项目进一步探索了基于弱监督的实例级特征表示。提出了一个适用于未知实例类别的视觉实例检测和特征表示框架。另外，项目探索了基于快速K平均生成近邻图的方法。将每幅图中的一个实例看做近邻图中的一个节点，通过生成实例之间的近邻图在图像之间建立超链接。同时，基于近邻图项目实现了在单进程下，1亿规模数据的实时检索。. 在该项目资助下，项目组在国际期刊和会议上发表论文11篇。其中SCI收录8篇，EI收录3篇。其中项目负责人第一作者或者通讯作者发表论文7篇。