人群活动理解中基于时空共现模型的交互动作识别研究

With the development of intelligent multimedia,there is a great demand for the understanding of group activities in videos in the field of surveillance,video retrieval and human computer interaction. Facing the complex situation of multi-person interaction, the traditional methods of action detection, human tracking and recognition for single person do not meet the requirments of the recogniton of group activities. In this research, we combine the traditional recognition algorithms and the human computer interaction technology to recognize human interactions exactly for the purpose of complex group activity understanding. Our research contains: (1)The analysis of the relationships of person-to-person, person-to-group in group activities. The attention estimation and human trajectories are used for relationship analysis in group activity, and the results are applied to separate the group to interaction sub-groups. (2)The study on multi-person interaction recognition. The traditional recognition algorithms and the human computer interaction technology are combined to extract efficient action features in interactions, and a Spatio-Temporal Co-Occurrence Model (STCOM) is proposed for interaction recognition. (3) The high level semantic understanding of group activity is realized based on the results of relationship analysis and interaction recognition. The research will promote the development of action representation and model construction for group activity understanding, and will promote its wide application in human computer interaction, surveillance, etc.

随着多媒体信息智能化发展，以多人参与的群活动为主题的视频理解在视频监控、视频检索和人机交互等领域的需求越来越广泛。而面对群活动中多人交互的复杂场景， 现有的单人活动检测、跟踪、识别等算法已无法满足群活动理解的需要。本项目研究结合人机交互技术通过对复杂的群活动中交互动作进行准确识别，实现对群活动的分析理解。研究内容主要包括：(1)群活动环境下人-人、人-群连接关系分析（Link Analysis）研究，采用视线估计和移动轨迹跟踪等方法，划分交互动作子群；(2)多人交互动作识别算法研究，结合传统识别算法和眼动跟踪等人机交互技术提取交互动作中的关键动作特征，建立时空共现 (Co-occurrence) 模型实现交互动作识别；(3)基于群活动连接关系和交互动作识别结果，实现群活动高层语意理解。本项目成果将促进群活动理解表达、建模及计算模型的发展，并在人机交互、视频监控等方面得到广泛应用。

随着多媒体信息智能化发展，以多人参与的群活动为主题的视频理解在视频监控、视频检索和人机交互等领域的需求越来越广泛。本项目研究结合人机交互技术通过对复杂的群活动中交互动作进行准确识别，实现对群活动的分析理解，并应用于智能人机交互系统。首先，围绕人群活动识别研究主题，首先进行实验数据采集，采集自然场景中人与人交互群活动视频数据，建成一个包含RGB数据、深度信息和人体骨骼信息的多源数据行为交互数据库，CR-UESTC交互数据库。CR-UESTC交互数据库包括250个视频，约2.5万帧数据。该数据库已经于2014年公开，免费供研究使用，是当时人与人交互行为活动类别最多的数据库。其次，基于人体骨骼信息提出了采用身体部件对来描述人体交互活动特征描述方法，并提出对比特征分布模型（CFDM）和模式转换图等方法解决人-人交互和人-机器人交互中行为的准确识别等问题。基于人体骨骼信息的对比特征分布模型（CFDM）和模式转换图方法在CR-UESTC 和 SBU交互数据库上面进行验证，实验结果表明CFDM算法识别效果远远好于普通的对比模型（CM）和传统BoW算法，比其他方法在CR-UESTC数据库识别率提高5%，在SBU数据库提高约4%。该研究内容已发表在国际会议2014ICME和SCI期刊JVCIR. 再次，因为人体动作的理解涉及复杂多路信息，针对视频中的交互行为活动，提出一种基于多路信息融合的两层识别算法用于视觉行为识别。基于多路信息融合的两层识别算法在CCV和UCF-101两个公共数据库上验证效果。实验结果显示场景信息和人体动作信息对行为理解贡献较大，并且采用信息融合方式进行行为识别的结果比单类信息得到的准确率高约3%-12%。与现有工作比较，该方法在CCV和UCF-101数据库均得到较好的实验验证结果。该工作已发表在2016 ACCV国际会议，并进一步整理提交国际期刊。最后，围绕人机交互在实际生活中的应用，建立人机交互系统，搭建交互平台，实现能够实际应用的人机交互功能。该部分研究主要从手势轨迹识别、人视线估计和手姿态估计等方面展开研究。采用Kinect传感器搭建了系统平台，用于机器人抓取等人机交互研究。该部分研究已申请发明专利13项。该项目研究内容及成果将在后续研究中进一步深入，并应用于服务机器人场景中实现智能、自然流畅的人机交互功能。