人机协同的多媒体实例检索关键技术研究

Multimedia instance search, namely retrieving specific object from others belonging to the same category, has received wide interests from the academy in recent years. To obtain more fine-grained discriminability, many previous work put main efforts in complex model design and expensive supervised training. Although these methods have achieved promising performance, their utility to practical applications remains in an unsatisfactory situation. This project proposes to study human-computer collaborative technology for multimedia instance search. Through investigate accurate online human-computer collaboration and efficient offline log mining, it provides a light-ware, flexible, open and sustainable framework for multimedia instance search. Furthermore, we will conduct method validation by developing prototype systems for two typical multimedia instance search applications, i.e., person re-identification and Trecvid instance search. With such efficient and effective Human-AI collaboration, we hope to improve retrieval algorithm’s ability on ranking optimization, and hence release retrieval system’s dependence on expensive data preparation and time-consuming model training in the early stage. Our project is expected to develop new human-computer collaboration methods generating 100% efficiency improvement over current cutting-edge HCI methods, fundamentally promoting the practical application of research on multimedia instance search technology.

多媒体实例检索，即针对同类多媒体对象中不同个体的检索，近年来受到学术界的广泛关注。为了获得对个体对象更加细致的辨识能力，大量工作把主要的精力投入到检索之前复杂的模型设计和昂贵的监督训练环节。虽然取得了不错的成绩，但是离现实的应用需求仍然有较大差距。本项目提出研究人机协同的多媒体实例检索技术，从精准的在线人机交互和高效的离线日志挖掘两个环节入手，提供一套轻量级、灵活、开放且有成长性的多媒体实例检索方法框架，并以原型系统验证的方式，将其应用于两个典型的多媒体实例检索案例，即行人重识别和Trecvid实例检索评测。我们的目标是通过更加高效便捷的人机交互方式，提升检索方法对初始排序结果的优化能力，从而减轻检索系统对前期数据准备和模型训练的依赖，更好地对接现实应用场景。相关研究预期将在现有前沿交互方法上将用户检索效率再提升一倍，从而有力推动多媒体实例检索技术从研究向应用的根本性转变。

本项目主要围绕人机交互的多媒体实例检索问题进行研究，在视频目标提取、在线人机交互、离线日志挖掘和原型系统验证等方面取得了重要研究成果，为多媒体实例检索技术从研究走向应用提供了重要技术手段和平台。针对传统检测器难以处理变尺度行人目标的问题，提出了基于尺度空间映射判别的行人检测方法，实现了复杂环境下的行人鲁棒检测；针对视频目标跟踪中常见的目标遮挡问题，发展了基于协同滤波的结构化目标跟踪方法；针对人机交互效率低下的问题，提出了融合自步学习与主动学习的交互式视频实例检索新方法，在NIST TRECVID 2021 INS任务上取得了自动和交互双赛道第一名的成绩；针对大量历史交互信息缺乏有效利用的问题，提出了基于离线日志挖掘的排序融合优化方法；最后，以监控视频和影视剧视频为对象，研制了面向室内监控的数字孪生系统和影视剧角色人物实例检索系统，为相关算法研究提供了重要的验证和展示平台。在国家自然科学基金面上项目资助下，课题组共发表学术论文27篇，其中期刊论文17篇，会议论文10篇；连续四年参加NIST TRECVID技术评测，提交技术评测报告4篇，并在2021年实例检索任务中取得自动和交互双赛道第一名。获得VBS 2023国际交互式视频检索竞赛最佳新人奖；授权技术发明专利17项，软件著作权2项；培养博士研究生4人，硕士研究生12人。项目已圆满完成计划书中所有预定研究目标。