基于复杂查询类型的多媒体检索

Recently, there is a compelling need for effective multimedia retrieval for complex queries. The complex queries refer to those query inputs containing at least two semantic objects with complex relationships between them, such as “two men fighting on the road”, "motorcycles racing at night” etc.. Currently, the traditional “text-based multimedia retrieval” performs poor for complex queries because of the incomplete text annotations associated with multimedia data. To solve this problem, this project conducts research for complex queries in the “content-based multimedia retrieval” and “concept-based multimedia retrieval” models. In the content-based multimedia retrieval, we focus on relevance feedback techniques to bridge the “semantic gap” for complex queries. Compared to the traditional approaches, our approach uses related samples to overcome the sparse positive sample problem. Moreover, we develop an incremental learning algorithm combining with image segmentation techniques to implement interactive multimedia retrieval effectively and efficiently. In the concept-based multimedia retrieval, we build a large-scale set of concept bundles, which is proved to be more effective against complex queries as compared to using primitive concepts in the traditional approaches. In addition, we propose to combine multi-task learning and multi-instance learning to effectively learn concept classifiers, and a novel concept selection strategy to accurately map users’ queries into related concepts. Finally, we aim to implement a multimedia retrieval system with a friendly user interface to integrate our research achievements.

近年来，如何有效地进行复杂查询的多媒体检索面临重大的挑战。复杂查询是指包含至少两个语义概念且概念之间存在复杂关系的查询输入，比如“两个男人马路上打架”，“摩托车夜间赛车”等。目前传统的“基于文本的检索”由于文本信息的不完整导致复杂查询的搜索性能不佳。为解决这个问题，本项目从“基于内容的检索”和“基于概念的检索”方式上提高复杂查询的检索性能。在基于内容的检索中，我们针对复杂查询用相关反馈技术缓减“语义鸿沟”。与传统方法相比，我们的方法用相关样本克服正样本不足的问题。另外，我们还使用增量学习算法结合图像分割技术实现有效的交互式的多媒体检索。在基于概念的检索中，我们构建大规模的复合概念集合，这比使用简单概念更加有效。我们还使用多任务和多实例学习来有效地学习概念分类器，并提出了一个新颖的概念选择方法来精确地解释用户查询。最终，我们的目标是设计一个基于友好用户界面的多媒体搜索系统来集成我们的成果。

近年来，随着计算机硬件和智能手机的发展以及网络性能的大幅提升，图像，视频等多媒体数据在互联网上正以极快的速度增长。面对着急速增长的多媒体数据，如何准确快速地找出用户需要的信息是一个亟待解决的问题。 当前的多媒体商业搜索平台，对于一些比较复杂的查询类型，其性能往往不能满足用户的需求，其主要原因是后台多媒体数据文本的准确性和完整性水平不高。尽管研究者们试图通过文本标注技术来解决多媒体数据文本信息不足的问题，但进行大规模的文本标注代价昂贵且性能提升有限。.本项目主要从三个方面进行研究来解决复杂查询准确度不高的问题。首先，本项目探索复合概念的图像标注技术，我们提出了基于门结构的CNN算法来提升目标识别的准确度。其次，本项目研究如何快速有效地检索复杂查询，我们提出了基于Hash的CNN索引技术。最后，本项目研究如何通过相关反馈的方式进一步提升检索的性能，我们提出了多标准的主动学习算法。.在本项目的资助下，我们发表了多篇高水平的论文，包括SCI三区期刊论文2篇，CCF C类国际会议3篇。另外，1篇SCI2区期刊被接收，1篇CCF A类会议在审稿。除此之外，该项目的资助帮助我们在华为杯中国大学生智能设计比赛中获得2个一等奖，1个二等奖。最后，该项目的资助培育了3名研究生毕业，7名研究生在读。.尽管最终还有部分工作没有完成，我们将继续用剩余的经费完成该项目，并使其在实际中应用。