基于人群能量和时空融合建模的群体异常行为检测方法研究

随着中国社会生活水平的提高，公共场所人群聚集活动日益增加，导致人群拥挤事故增多，造成十分严重的人员伤亡和财产损失，如何对公共场所的拥挤人群进行有效监控和管理成为了一个亟待解决的问题。现有的视频监控系统需要专人职守，很难适应越来越高的智能监控要求，继而无法有效及时地疏导和管理人群，避免公共灾难的发生。本研究提出了"人群能量"的概念，在空间域上建模来评价人群状态，并通过时间和空间融合建模的方法来检测人群异常行为，从而识别出人群密度异常、人流方向异常和人群骚乱等异常行为。该研究以最快和最佳的方式为监控者提供有效的关键信息，为避免重大踩踏和拥挤事故提供早期预警，提高我国城市的综合管理水平和管理效率。

本项研究主要针对视频监控中人群异常行为检测。围绕这个研究目的，我们从人群特征提取、人群正常行为建模两个方向展开探索性研究。如何去描述人群的状态，是人群行为分析的首要步骤。在参考前人研究的基础上，我们把人群数量、人群运动能量熵、运动光流及物体运动短时轨迹作为人群状态特征。这个方向的研究成果，包括自适应人群数量计算，首次提出人群能量熵及一种新型的物体运动短时轨迹提取方法。自适应人群数量计算的基础是图像势能，而图像势能是我们根据重力势能的启发提出的一种目标在图像中具有不随位置改变的能量。只需要估计一个参数，就能可靠地应用图像势能估计出图像中人的数量。人群运动能量熵刻画了单帧图像运动信息的分布，以此为基础计算出的图像相邻帧运动互信息可作为判断行为是否异常的输入值。我们用mean-shift图像平滑与3D种子填充图像分割相结合的方法来提取物体运动短时轨迹， 此方法把关注的焦点聚集在相邻帧间运动上有关联的图像块，提取这些图像块的轨迹，而不是关注于单个人，从而有效地克服了遮挡对追踪的影响。我们另一方面的研究是人群正常行为建模。我们通过对正常行为进行建模，在此模型下计算观测行为的概率，把概率值低的行为检测为异常行为。我们分别应用了图模型、分层聚类及在线字典学习的方法来构建正常行为模型。在图模型中，一方面我们提取整帧图像的特征作为观测状态，在帧与帧图像间建立相关联的隐马尔科夫模型(HMM)来描述正常行为模式；另一方面我们把图像分割成小块，建立联合块自身的能量函数及块与块之间关联能量函数的马尔科夫随机场(Markov Random Field)模型来描述正常行为模式。在分层聚类方法中，我们首先对行为特征进行全局聚类得到原子行为模式，再对局部区域原子行为模式的分布进行聚类得到局部显著行为模式，再此基础上构建全局异常能量函数，局部能量异常函数，将两者结合起来做异常行为检测。在在线词典学习方法中，我们构建了一个自适应在线更新的正常行为词典，此词典能自动调整各个词的权重，能根据输入视频的变化添加新的词或者删除旧的词，使词典的规模保持在一个合适的范围。根据这个动态词典可以做异常行为检测。我们的算法在自采集及公开人群视频中进行验证，实验证明所提算法能鲁棒地检测出视频中所存在的异常行为。同现有算法的比较证明我们的算法在检测准确性及定位精确性两个方面都优于别的算法。