群体行为识别中的鲁棒深度特征表达与结构化学习方法研究

Crowd action recognition is a research focus in recent years, and has attracted much attention in academia and industry. Compared with traditional classification methods with handcrafted visual feature, the approach of detecting human bodies in videos, estimating optical flow, and then the learning of multi-level features in an end-to-end manner using deep neural network with a softmax classifier is able to improve the recognition accuracy evidently. Nevertheless, there are three open problems: 1) networks cannot effectively distinguish the importance of different spatial-temporal domains of videos to capture human motions, and the learned deep feature is easy to be disturbed by noise, occlusion and redundant information in videos. 2) Human-body detection, optical flow estimation and action feature extraction are performed asynchronously, hence the total processing time sees significant increase. 3) The softmax classifier itself fails to represent the structure of crowd activity, that is, the correlation among actions of different individuals. Therefore, this project intends to study the problem of deep feature representation and structured recognition of crowd activities, which focuses on solving the problem of robust deep action feature representation, the problem of synchronous human detection, optical flow estimation and action feature extraction, and the problem of structured learning of crowd activities by fusing deep feature and high-level contextual information. Solving these problems will improve the structured modelling and recognition performance of crowd actions.

群体行为识别是当前的研究热点问题，在学术界和工业界引起了广泛关注。相较于传统的基于手工设计视觉特征的分类方法，检测视频中的人体、估计光流、并构建深层神经网络和softmax分类器实现端到端的多层次特征学习可以有效提高行为识别的准确度，但存在如下三个问题：1）网络不能有效区分视频不同时空域对人体运动表达的重要程度，深度特征易受噪声、遮挡和冗余信息干扰；2）人体检测、光流估计和行为特征提取异步进行，导致整体处理时间的显著增加；3）softmax分类器本身不能很好地描述人群行为结构，即不同人体行为之间的关系。因此，本项目拟研究群体行为的深度特征表达和结构化识别方法，着重解决鲁棒深度行为特征表达问题，人体检测-光流估计-行为特征提取的同步计算问题以及融合深度特征和上下文信息的群体行为结构化学习问题。本项目研究将显著提升群体行为的结构化建模与识别性能。

群体行为识别是当前的研究热点问题，在学术界和工业界引起了广泛关注。针对群体行为的精准与高效识别问题，本项目研究群体行为的深度特征表达和结构化识别方法，主要内容包含三个方面：1）鲁棒深度单体行为特征表达方法，2）联合人体检测、运动估计和行为识别方法，3）群体行为识别的结构化学习和高效推理算法。在项目执行期间，对以上三个方面展开研究，提出基于孪生全卷积网络的视频人体跟踪方法，获得逐帧人体边界框；提出融合手工特征与深度学习特征的人体行为表征方法，显著提升了单人行为特征表达的鲁棒性与精度；提出了两种求解未知图结构马尔可夫随机场优化推理问题的凸松弛方法，从理论上证明了所提松弛优于已有松弛方法，证实了更优的推理优化算法能带来更好的交互行为识别精度，在合成数据集上和真实交互行为识别数据集上取得了前沿识别结果；将多人交互行为理解问题表示为一个变量分组与贴标的联合优化问题，构建联合优化所需的能量函数，并提出求解能量函数最优化问题的交替搜索算法，在三个公开交互行为识别数据集上获得了最优精度，实现了交互行为理解性能的大幅提升；提出了多人交互行为理解的一致性感知推理网络，分别采用隐式和显式的方式学习交互行为解析逻辑，在多个交互行为理解数据集上获得了前沿性能。基于这些研究成果，本项目建立了一套适用于人群行为识别的深度结构化学习理论与方法，可为视频监控、智能交通、智慧城市等应用提供关键理论技术支撑，具有重要的理论意义和潜在应用价值。