视觉场景中群体互动轨迹的流形向量场学习与异常判别研究

The crowd activity analysis is a key technology to improve the public crisis management ability. In visual scenes trajectories captured by tracking provide abundant spatial-temporal information for a challenging task, i.e. recognizing crowd interaction trajectory. However, most existing methods is not suitable for modeling of the interactive trajectory with high dimensional complex structure; how to efficiently learn and represent the mid-level structure of activities has become the key to solve the problem. To recognize abnormal crowd activities in public video surveillance, assuming that all individual motions in the scene are subject to the effects of a potential manifold vector field; therefore, learning the manifold vector field of the movement rout to analyze crowd activities, which can reveal the space-time structure of activities from micro to macro. First, learning the intrinsic space manifolds of individual movement paths to generate the velocity vector field; next, analyzing the individual dynamics in the manifold vector field for anomaly individual detection; on this basis, extracting the invariant description of the motion vector field to discriminant crowd events. Experimental verifications involve the monitoring data in real scenes, and the theories and methods of online analysis for the scene related abnormal crowd are proposed, in order to promote the development of application studies in this field.

人群行为分析是一项提高公共危机处理能力的关键技术。视觉场景中目标跟踪获取的大量运动轨迹，为群体互动轨迹识别这一具挑战性课题提供了研究对象。然而，现有方法大多不适于对高维复杂结构的互动轨迹建模；如何高效地学习及表示行为中层结构成为解决问题的关键。为识别公共场所监控视频中的异常群体行为，假设该场景中所有个体运动均受到潜在流形向量场的作用；因而，学习运动路径的流形向量场表示来分析群体行为，进而揭示群体运动的微观-宏观时空结构。首先学习个体运动路径的内蕴空间流形并生成速度向量场；接下来，分析流形向量场上的个体动力学以检测异常个体；在此基础上，提取群体运动向量场的不变描述判别群体事件类型。实验验证真实场景监控数据，提出场景相关异常群体行为的在线分析理论及方法，推动该领域应用研究的发展。

研究利用视频监控实现场景中敏感行为的自动检测，能极大地提高危机处理能力。本项目研究利用视觉信息识别及理解场景中运动主体的行为，涉及计算机视觉、机器学习领域的前沿方法。重点研究了以下内容：①监控场景下如何准确地提取出多个目标的行为观测，包括目标位置、分类、运动轨迹等视觉信息。②如何基于流形向量场特征空间完成标注行为的异常判别分析及建模。③在实际应用场景中如何解决异常样本不足、前端多传感器采集信息不统一以及在线学习的数据遗忘等问题。通过研究达到将行为识别建模空间从特征向量推广到语义状态的目的。已完成以下研究目标：①针对监控场景多目标互动行为，完成了在异常行为样本较少情况下基于迁移学习与深层目标检测网络（SSD）的多运动目标提取方法设计及实验验证。②建立了基于运动向量场岭回归聚类（Rigid clustering）及测地线距离的运动轨迹判别模型，从而实现对异常群体行为的准确判别。③研究了监控场景中多传感器图像增强及重建方法，提出了基于卷积神经网络（CNN）的多传感器图像融合及基于对抗生成网络（GAN）的受损图像重建方法。④针对上述模型在大规模训练中存在神经网络固有的数据遗忘（Catastrophic Forgetting）困难，我们提出了一种基于遗传算法及对抗训练策略的增强记忆网络用于对连续视频帧数据的在线学习。本项目按行为识别研究范式展开，在行为观测提取、行为结构表示和行为识别建模三个信息处理层次均进行了基础性研究达到了预期目的。此外，可以将本研究成果应用到边疆、少数民族地区人流量较大的口岸、车站等场所，使项目符合实际情况且具有地区特色。