主被动视角联合的细粒度行为识别

Video based fine-grained activity recognition and analysis has promising application in intelligent assisted living. However, state-of-the-art research work in activity recognition still focuses on coarse-grained activity, and novel theory framework, algorithm infrastructure, and recognition model for fine-grained activity recognition are still unexplored. In this project, we will investigate several key problems in fine-grained action recognition, which include (1) We propose to address joint motion-object visual feature extraction and middle level semantic learning problem in fine-grained activity recognition by introducing a novel multi-task joint deep network model; (2) We propose novel methods based on transfer learning and nonparametric Bayesian multiple kernel learning framework to achieve joint active-passive camera coordinated action recognition; (3) We plan to address the problem of multi-granularity joint analysis to achieve structural and hierarchical understanding, modeling and recognition of daily activity. The research outputs of this project will greatly encourage the research and application of activity recognition techniques in assisted living. Besides, this project can also provide novel theories and fundamental algorithmic frameworks for smart surveillance, remote medicine and video retrieval.

细粒度行为识别技术在智能辅助居住领域中有着极为重要的应用。然而，目前行为识别技术的研究主要着眼于粗粒度行为识别，缺乏细粒度行为识别的理论框架和算法模型。本项目结合申请人在视频行为识别方面的前期研究工作以及机器学习理论的发展趋势，分别从特征提取、语义表示、模型构建等方面对细粒度行为识别领域中的几个重要问题进行重点研究并提出解决方法，主要包括为：(1) 提出多任务联合深度特征学习、中层交互语义学习等新方法，有效解决细粒度动作和物体联合识别的问题。(2)提出基于非参数化贝叶斯多核学习的数据融合理论框架，实现主被动视角联合特征提取，解决多视角数据融合的难题，提高细粒度行为识别效果。(3) 提出基于递归网络的多层次联合分析模型，解决多层次结构化行为语义联合识别难题。本项目的研究成果将有力推动细粒度行为识别的研究及应用。

基于主被动视角的行为识别技术在智能辅助居住领域中有着极为重要的应用。本项目从异步特征提取、多粒度语义表示、信息融合模型构建等方面对主被动视角联合的行为识别领域中的几个重要问题进行重点研究并提出了解决方法。主要创新点包括为：(1) 提出了基于异步事件驱动的细粒度动作和物体联合识别预测算法，解决了跨时间尺度事件关联性建模的难题，提高了主动视角细粒度行为识别和预测精度，在GAZE等基准视频数据库获得了国际领先的细粒度行为预测精度。(2)提出了基于非参数化贝叶斯的多目标多粒度交互框架，解决了多目标多粒度特征间的关联建模难题，提高了交互行为识别效果，在BIT等基准视频交互行为数据库获得了国际领先的识别预测精度。(3) 提出了基于深度递归网络的多层次联合分析模型，解决了多层次结构化行为语义联合识别难题，在SBU等基准多人交互行为数据库获得了国际领先的群体行为识别精度。本项目产生了一批高水平的研究成果，包括30篇高水平论文（包括国际人工智能与计算机视觉顶级期刊、会议论文TNNLS, CVPR, ICCV, NIPS, ECCV, IJCAI, AAAI, SIGMM等），申请了五项国家发明专利，培养了10名硕士研究生。参与了多项国际交流活动。本项目成果推动了主被动视角细粒度行为识别与多人交互识别的研究及应用。