基于自适应时空关系模型的视频人体行为识别研究

Recognizing the action performed in video is one of the most popular research fields in computer vision. It requires not only recognizing each individual movement of a single person, but also capturing the interaction relationship between persons and surroundings. For the complex action which is composed of multiple simple actions, it also requires modeling the spatial and temporal dependencies between the simple actions. Due to the complexity of actions, it is challenging to model the spatio-temporal information in videos effectively and understand the actions correctly. To address these problems, this project focuses on spatio-temporal models that can model the relations adaptively based on different input. There are four aspects in the research plan: (1) in the aspect of spatio-temporal feature extraction, we study the methods that can pay attention to the important regions automatically and be robust to input transformations. (2) In the aspect of spatio-temporal relation mining, we study the methods which can model the context relation across spatio-temporal regions automatically. (3) In the aspect of spatio-temporal hierarchical structure modeling, we study the methods that can model the complex composable structure of the long-range sequence automatically. (4) In the aspect of model training and optimization, we study the learning method which can adapt its learning strategy to the learning content. The proposed adaptive spatio-temporal relation models are powerful in representation and discrimination, which have promising applications in autonomous vehicles, human-computer interaction, few-shot action learning, intelligent video monitoring, content-based video retrieval and so on. The project has great values in both research and economy.

视频人体行为识别是计算机视觉研究领域的一个重要分支。识别行为不仅要识别人的个体动作，还需要理解人与人之间、人与周围环境的交互关系等。对于由多个子动作组成的复杂行为，还需要建模子动作在空间和时间上的依赖关系。由于行为内容复杂多样，有效建模视频中的时空信息、准确识别行为具有很大的挑战。针对以上问题，本项目研究能够根据输入自适应建模时空关系的行为识别模型，研究工作将从以下四方面展开：(1)研究能够自动关注关键区域并对输入形变鲁棒的特征提取方法。(2)研究能够自动建模时空区域间关联性的上下文关系挖掘方法。(3)研究能够自动建模时空复杂层级组合关系的长时序列建模方法。(4)研究能够根据学习内容自动调整优化学习策略的学习方法。本项目提出的自适应时空关系模型，具有更强的表示力与判别力，可应用于无人驾驶、人机交互、小样本行为学习、智能视频监控以及视频检索等领域，具有重要的研究意义与广泛的应用前景。

视频人体行为识别是计算机视觉研究领域的一个重要分支。识别行为不仅要识别人的个体动作，还需要理解人与人之间、人与周围环境的交互关系等。对于由同时或者顺序发生的多个子动作组成的复杂行为，还需要建模子动作在空间和时间上的依赖关系。由于行为种类复杂多样、人体姿态运动习惯各不相同、周围环境千差万别，有效建模行为视频中的时空信息、准确识别行为具有很大的挑战。针对以上问题，本项目研究了能够根据输入自适应建模时空关系的行为识别模型，具体包括以下内容：（1）在时空特征提取方面，提出了注意力引导的局部决策聚合机制，提出了语义信息增强的时空特征提取模块，提高了模型对输入形变的鲁棒性。（2）在时空关系挖掘方面，提出了长距离密集时空关系分解方法，提出了数据自适应的时空关系近邻搜索方法，显著降低了模型参数及计算量。（3）在时空层级结构建模方面，提出了数据自适应的全局时空图卷积神经网络，并引入了自监督聚类信息作为指导，提高了时空复杂组合关系的长时建模能力。（4）在模型训练优化方面，提出了视频语义信息隐式对齐方法，提出了自适应调整优化步长的学习策略，提升了小样本数据下时空模型的学习性能。相关研究成果发表高质量学术论文9篇，其中SCI索引论文6篇，EI索引论文3篇。授权及申请发明专利6项，获得第三届CSIG图像图形技术挑战赛行为识别大赛冠军。项目承担者2022年获得陕西省科协青年人才托举计划项目资助，资助培养硕士研究生5人，其中，2人荣获校级一等奖学金、优秀研究生称号，1人获得科为奖学金（一等奖）。本项目研究的自适应时空关系模型，具有更强的时空关系表示力、判别力、以及数据适应性，提高了行为识别准确率与鲁棒性。可应用于无人驾驶、人机交互、态势感知、智能视频监控以及基于内容的视频检索等领域，具有重要的研究意义与广泛的应用前景。