基于图网络的人体行为识别与推测方法及其计算实现

Human action inference aims to predict human actions in future based upon incomplete action executions. Vision-based action inference includes action recognition and prediction from videos. The two tasks have become the frontiers of computer vision recently, because of their applications in a variety of real-world scenarios. The performance of action inference approach particularly relies on high-level abstraction and semantic reasoning of action. In order to inference action, a universal feature representation across actions is required, as well as an integrated model for recognition and prediction. However, the existing researches are mostly carried out for action recognition. The extracted features and recognition models are relatively independent, which cannot meet the semantic reasoning requirements. In order to solve the above scientific problems, graph network based approaches to human action recognition and inference for pose sequences are studied. The research contents include: (1) discriminant region learning based on attention graph network, (2) meta-action feature representation based on clustering graph network, and (3) human action recognition and inference based on graph network. The research of this topic has important academic values as follows: (1) enriching the graph network theory and algorithm of action recognition and inference, and (2) promoting the research and development in the field of computer vision.

人体行为推测是指根据长视频中已发生的人体活动，推测将来可能出现的行为类型，包括行为识别和推测，是计算机视觉的前沿课题，具有重要的应用价值。行为推测依赖于对行为的高级抽象和语义推理，需要跨行为的通用特征表示，并采用识别和推测一体化的模型。而现有的研究多针对行为识别开展，提取的特征和识别模型相对独立，无法满足语义推理要求。因此，本项目开展姿态序列中基于图网络的人体行为识别和推测方法研究，拟解决这一科学问题。课题研究内容包括：（1）基于注意图网络的判别力区域学习，（2）基于聚类图网络的元动作特征表示，（3）基于图网络的人体行为识别和推测方法。课题的研究可以丰富行为识别和推测的图网络理论和算法，并推动计算机视觉领域的研究发展，有着重要的学术意义。

人体行为识别与推测是计算机视觉的前沿课题，具有重要的应用价值。人体行为识别涉及人、交互物体和场景等多个因素，行为本身涉及骨架拓扑和语义含义，给人体行为识别带来各种挑战。项目在系统总结国内外已有相关研究成果的基础上，对相关研究现状进行了分析总结，并开展了以下三方面的研究工作。.（1）基于图卷积网络的人-物对表征和人物交互行为检测模型：针对人体行为识别中的人物交互检测推断效率低的问题，提出了一种基于图卷积网络的人-物对表征和人物交互行为检测方法，用于人物交互行为识别和推测。.（2）基于骨架拓扑语义的图卷积网络人体行为识别算法：针对动作识别方法中图卷积网络自适应机制的性能受初始骨架拓扑结构的限制问题，提出了一种新的基于多流的有效骨架拓扑结构和语义指导的自适应图卷积网络，用于提升动作识别的准确率。.（3）基于聚类分析和图卷积网络的交互物体分割方法：针对人体行为交互物体和场景理解等不足导致的人体行为识别准确率低问题，提出了一种基于聚类分析和图卷积网络的小样本语义分割方法，用于提升交互物体识别效果并辅助行为识别。.在多个相关基准数据库上的相关实验结果显示，本项目研究构建的相关算法性能可以达到当前学术界的先进水平。同时，本项目的相关研究在一定程度上解决了人体行为识别与推测研究中存在的上述问题，丰富计算机视觉与机器学习在相关领域的理论和提供技术支持。