面向多人交互行为分析的大规模视频图像识别与理解模型

Collective activity analysis, which concerns the collective behavior of pedestrians in the scene, is a recently attractive research topic in intelligent visual surveillance. However, there are still several largely unsolved problems, including how to explore the interaction between people and between people and the environment, how to automatically mine collective activities and their relationships, and how to perform efficient recognition and searching for large scale collective activity data. In this research proposal, based on visual video images, we address the following four main aspects: 1) proposing a discriminant bilinear interaction model to mine intrinsic interactions in a collective activity; 2) proposing large scale clustering algorithms to mine potential collective activities in the data and also explore their relationships; 3) developing online locality-sensitive distance learning for large scale collective activity data; 4) developing robust hash function learning models and further embedding the relationship between collective activities into the models for large scale searching. In addition, this research proposal will also explore how collective activity information and their relationships can be used to assist person re-identification, with a close connection to investigator's previous work. While advancing collective activity analysis, the proposal can also make contribution to the development of large scale machine learning algorithms.

多人交互行为分析主要是针对视频图像中与多人有关的多种交互信息进行分析和识别，是涉及公共安全问题的新兴重要课题。然而，如何挖掘多人交互行为中各种潜在的深层交互关系、如何挖掘不同交互行为之间的关联、如何面向大规模多人交互行为数据及其关联信息建模识别和搜索模型等仍有待深入研究。为此，面向大规模视频图像信息，本课题拟从如下4个主要方面展开研究：1) 发展鉴别双线性相关性学习模型以挖掘多人交互行为中内在的交互关系；2) 从大规模视频图像中挖掘潜在的多人交互行为信息及它们之间的关联信息；3) 面向大规模多人交互行为数据发展局部敏感的在线距离学习模型；4) 提出鲁棒的哈希函数学习模型，并在建模中嵌入多人交互行为之间的关联信息。此外，本研究还拟结合申请人以往的行人再标识工作，探讨研究如何利用多人交互行为的关联信息协助行人再标识。本研究旨在促进多人交互行为分析发展同时，促进相关的大规模机器学习的发展。

本项目研究智能视频监控下的人群行为分析及身份识别问题，主要研究个体行为、多个行人动作协同的行为分析，并结合和发展申请人以往的行人重识别(即行人重识别)的工作，探讨研究如何利用人群行为信息协助行人重识别。自2014年获准立项以来，本课题已经主要发展：1）基于机器学习的多人交互行为分析图模型，以及基于松弛回归建模的行为预测；2）针对行人重识别的瓶颈问题，提出了行人验证模型、残缺行人重识别、基于跨视角非对称聚类的无监督行人重识别和深度聚融CNN与人工特征的行人重识别，3）针对所涉及的大规模数据处理背景，提出了数个快速非线性聚类(含欧拉聚类)和搜索方法(在线哈希检索学习、多模态半监督哈希检索学习)，并应用于行人重识别解决无监督重识别和快速行人重识别问题。已发表国际学术论文33篇（均为第一作者或通讯作者论文）, 其中IEEE Transactions 12篇，Pattern Recognition 3篇；顶级计算机视觉国际学术会议12篇。进一步获得了国家优秀青年科学基金、国家自然科学基金委与英国皇家学会联合资助的中英人才项目“英国皇家学会牛顿高级学者基金”的支持。获广州市科学技术进步奖一等奖、广东省科学技术进步奖二等奖，并获中国计算机学会计算机视觉专委会（CCF-CV）服务贡献奖。