面向移动视觉搜索的二进制图像指纹研究

By bridging the gap between the real and digital world, Mobile Visual Search, MVS in short, will become one of the basic methods of obtaining information in future. However, the explosive growth of image data with stringent bandwidth of mobile network poses new challenges for MVS in storage, transmission and searching efficiency. To speed up searches and reduce storage/transmission costs without sacrificing accuracy, we will focus on the key technique of representing images in a compact way. We plan to propose a novel binary feature descriptor based on the non-uniformity and anisotropy of pixel-intensity distribution, which reduces feature length without any loss of robustness and discriminative power. Hence an image can be represented by a compact binary feature set. As to reduce the redundancy of feature sets, which dues to the sparsity of binary features, we will investigate the feature distribution in Hamming space by using the random hyperplane technique which naturally gives a family of hash functions. And then, we plan to propose an algorithm to project a binary feature set into an image-level binary code, aiming at representing an image by an even more compact binary fingerprint. On the basis of the fingerprint technique, we will build the experimental system and test its performance with real large-scale network data. Our research can obtain a breakthrough in improving the compactness of image representation, and promote the development of Mobile Visual Search.

“所见即所知”式的移动视觉搜索将成为未来信息获取的基础方式之一。然而高速增长的图像数据，带宽有限的移动网络使得目前的移动视觉搜索面临着存储开销大、网络负载高、查询速度慢的瓶颈。为了在不损失搜索精度的前提下，减少存储和传输的开销，提高搜索的速度，本项目以图像的紧凑表示这一基本问题为研究方向，拟提出一种基于灰度分布不均性和各向异向性的二进制特征描述子，在保证特征区分力和鲁棒性的同时减少特征长度，将图像转化为紧凑的二进制特征表示；为了降低特征稀疏性所带来的空间冗余，拟利用随机哈希函数簇生成的随机超平面划分，分析二进制特征在海明空间的分布，提出将二进制特征集合映射为单条二进制短码的融合算法，从而将图像表示为更紧凑的二进制图像指纹。项目将基于图像指纹构建实验系统，在真实数据环境下验证系统性能，以期在提高数据紧凑性方面取得突破，促进移动视觉搜索的发展。

图像正逐渐成为移动终端的主要信息载体，用户对于随时随地进行互联网图像搜索的需求大大增加。面对高速增长的图像数据和带宽有限的移动网络，如何提高图像表示的紧凑性，从而提高搜索速度，降低传输和存储开销，是移动视觉搜索走向实用面临的一个关键问题。.为了提高图像表示的紧凑性，本项目主要研究如何将图像映射为单条二进制编码，即二进制图像指纹，具体从编码，映射，图像三个方面开展了研究：1.编码方面，我们创新性地提出了编码后处理算法，使得编码的空间分布更接近与图像语义的空间分布。实验结果表明，我们的算法能在保持搜索精度不变的前提下，将编码的长度降为现有方法的1/4以下。2.映射方面，我们创新性地提出了多值量化的映射方式，同时还提出了面向多值量化映射方式的加权距离度量和分治快速索引。实验结果表明，映射后的编码不但能够包含更多语义信息，而且能被快速索引查询。3.图像方面，我们研究了如何用有限的语义实体和语义关系来表示无限的图像语义内容，极大地降低图像的语义空间。然后我们再通过知识嵌入技术，将语义实体和语义关系映射为紧凑的表示。.本项目共发表学术论文8篇，其中期刊论文3篇（皆为SCI收录），会议论文5篇（皆为EI收录）。期刊论文包括CCF-A类期刊IEEE Transactions on Knowledge and Data Engineering（TKDE），CCF-B类期刊IEEE Transactions on Multimedia（TMM）和汤森路透JCR一区期刊IEEE Access。会议论文包括CCF-A类会议ACM MM长文，CCF-B类会议ICASSP长文(两篇)，CCF-C类会议MMM长文和国际会议VCIP长文。.本项目的研究成果已经应用到了国家保密局和全国300多家省、市级保密局的业务系统中，服务于互联网图像内容监管需求，并因此获得了保密科学技术二等奖（省部级）的奖励。.总的来说，本项目提出了有一定国际显示度的研究成果，并取得了较好的应用效果，推动了图像紧凑表示技术的发展。