基于人体姿态表示的动作识别方法研究

Human action recognition studies the methods to localize human actions in videos/images and recognize their semantic information. Recently, owing to its theoritical significance and wide application prospects, human action recognition comes to be an important research topic in both academic and industrial domains. A critical problem in this research topic is to design a type of action representation which is both expressive and robust to appearance variations. Enlightened by the studies on "biological motion" in psychologic research area, in this project, we propose to describe the actions by their corresponding actors' body poses (pose sequences) for recognition. Particularly, the following issues would be addressed: (1) designing nonparametric methods for human body pose (pose sequence) estimation; (2) learning the mapping relation between the action classes and the human body poses (pose sequences); (3) designing metrics to evaluate the correlation between human body poses (pose sequences) and action classes. Oriented to the applications like intelligent video surveillance and human computer interaction, an action recognition system will be developed which is robust to variations of scenes and human appearance. Moreover, a dataset will be built to validate the proposed theory, which consists of images and videos annotated with the labels of the actions contained in them and the corresponding actors' body poses.

人体动作识别主要研究从图像或视频中定位人体动作并识别其语义信息的方法，是计算机视觉领域的一个具有重要理论价值和广阔应用前景的研究课题，近年来受到了学术和工业界的普遍重视。研究这个课题的一个关键任务就是设计表达能力强、对表观变化鲁棒的动作表示方法。针对这一任务，受到心理学领域关于"生物运动"研究成果的启发，本项目将研究人体动作最本质的表示，即"人体姿态（片段）表示"框架下的动作识别方法，具体研究内容包括：（1）非参数化的人体姿态（片段）识别方法，（2）人体姿态（片段）与人体动作类别之间的映射关系学习方法以及（3）人体姿态（片段）与动作的相关程度度量方法的设计及计算。本项目将面向智能视频监控、人机交互等实际应用，构建对场景的和表观的变化具有一定鲁棒性的动作识别系统，并建立一个有一定规模的、标注有动作和动作执行者姿态的数据库来验证本项目提出的理论和方法的正确性。

人体动作识别研究试图探索从图像或视频中定位人体动作并识别其语义信息的方法，是计算机视觉领域的一个具有重要理论价值和广阔应用前景的研究课题，近年来受到学术和工业界的普遍重视。解决这个问题的一个核心任务就是设计表达能力强，对表观变化鲁棒的动作表示方法。针对这一任务，本项目根据心理感知领域关于“生物运动（biological motion）”的研究成果，研究人体动作最本质的表示，即“人体姿态表示”框架下的动作识别方法，具体研究内容包括：（1）非参数化的人体姿态识别方法，（2）人体姿态（姿态片段）与人体动作类别之间的映射关系学习方法以及（3）人体姿态（姿态片段）与动作的相关程度度量方法的设计与计算。本项目将面向智能监控系统、人机交互等实际应用，构建对场景和表观变化具有一定鲁棒性的动作识别系统，并建立一个有一定规模的、标注完善的动作（姿态序列）数据库来验证本项目提出的理论和方法的正确性。