基于长短时记忆组合网络的危险群体行为预测

Dangerous crowd behavior refers to stampedes, fights, riots and other typical collective activities that are potentially harmful to society. Making full use of dynamic visual information as well as exploring the evolution of logical relationship among crowd behaviors are fundamental for dangerous crowd behavior detection. Long Short-term Memory (LSTM) network has recently offered state-of-the-art results in variety of sequence prediction tasks, which can obtain optimal visual features for evolution characteristics and predict future visual features on the basis of existing video information. An appropriate LSTM architecture is investigated to describe contexts of behaviors, and simultaneously evolving trend is employed to reveal collective motion tendency. In order to solve the problem that there are less training samples for dangerous group behavior, this project proposes an attribute classifier inspired by a recently proposed framework based on zero-shot learning. Then we can deduce whether there would be a dangerous crowd activity. In addition, this project also proposes an action-proposal method that can fix positions of local action. The establishment of this project is theoretically and practically significant, in terms of both behavior evolution patterns detection, dangerous crowd behavior prediction, and the application of intelligent video surveillance system.

危险群体行为是指群体踩踏、斗殴、暴乱等有潜在社会危害的群体行为。综合利用视频动态视觉信息，发掘行为之间的演变逻辑关系，是预测危险群体行为的基础，也是当今亟待解决的科学问题。本项目将可以学习长期依赖信息的长短时记忆网络(LSTM)引入到危险群体行为预测任务中，以深层特征学习的方式，捕获群体行为的演变关系。重点研究如何设计合理的LSTM网络结构来表征群体场景中多局部行为之间的上下文语义关系、演变趋势。针对危险群体行为训练样本相对较少的问题，本项目基于零样本学习的思想，拟建立属性分类器模型，结合LSTM网络预测的视觉特征，推断是否将会发生危险群体行为。此外，本项目还将提出局部行为定位方法快速标定群体场景中的多个局部行为。该项目研究，无论是从危险群体行为演变的模式发现和预测理论的完善角度，还是从智能视频监控技术的应用角度来看，都有重要的理论意义和广泛的应用前景。

危险群体行为是指群体踩踏、斗殴、暴乱等有潜在社会危害的群体行为。本项目基于公共监控视频研究危险的群体行为预测的理论和方法，其主要成果包括：通过研究视频行为之间语义关系和演变趋势描述的LSTM网络结构，设计了一种融合标签信息的静态、动态双流特征的LSTM网络结构；通过研究适合少量样本学习的分类器，提出了一种类别子空间关联的分类器，解决了样本不均衡的分类问题；通过研究视频动态目标的局部行为定位方法，提出了一种新的目标检测算法——“基于非对称沙漏网络结构的目标检测算法”；通过研究密集人群的多目标跟踪问题，提出了一种条件随机场的多目标跟踪模型；通过研究个体行为分析问题，提出了一种基于骨骼时序散度特征的人体行为识别算法。研究的最终目的是设计合理的长短时记忆（LSTM）网络捕获群体行为演变趋势信息，以群体行为视频数据为驱动，学习得到群体行为即将发生的结构模型，为预测危险群体行为提供依据，满足公共场所智能监控系统中的智能化需求。项目资助发表SCI检索论文2篇，EI检索会议（CCF C类）论文1篇，中文核心检索论文5篇，已投在审SCI论文2篇，已投在审EI检索（CCF C类）论文1篇，已投在审中文核心检索论文2篇。申请发明专利7项，其中1项已经授权。培养硕士研究生4名，都已经取得硕士学位，其中1名在继续攻读博士研究生。项目投入经费22.00万元，支出12.814369万元，各项支出基本与预算相符；剩余经费9.185631万元，剩余经费计划用于本项目研究后续支出。