面向群体监控的视频语义建模与描述研究

随着中国城市化进程的提速和社会经济的高速发展，群体监控已经成为公共安全监控领域的一个重要任务。本项目将在研究城市公共安全领域群体事件发生、发展和演变规律的基础之上，综合运用信息科学、认知科学和社会群体动力学等相关理论及研究成果，研究面向城市公共安全监控的群体语义建模和描述方法，建立基于本体的群体监控语义描述体系；提出基于可变粒度多Agent的"细观"群体建模方法；进而通过融合群体动力学中的社会力模型和统计学习理论中的分层概率网络研究的理论成果，研究基于多Agent协同分析的群体高层语义信息的提取和综合模型；最后运用云端计算机视频分析协处理器（VAC）和实验室私有云计算环境，仿真和实现群体监控语义描述系统。本项目将在面向群体监控语义描述体系方面进行前瞻性的研究，消除群体分析中视频底层特征同群体中、高层语义之间的鸿沟，为复杂群体事件的智能监控和事态发展的推演分析奠定理论和技术基础。

面向群体监控的视频语义建模和描述技术对于我国公共安全监控领域的科学研究和技术应用具有重要的现实意义。为了有效地对群体监控视频进行智能分析和语义描述，上海交通大学郑世宝教授领导的研究团队，在国家自然科学基金面上项目的资助下，针对群体视频语义建模和描述等相关难题，开展了深入的研究工作，主要成果包括：.1．大规模群体视频数据集构建及标注系统开发：构建了大规模跨领域跨场景的群体视频事件数据集（多少量？），用于评估群体分析算法的鲁棒性；提出了半自动的基准数据标注算法，并开发了一套标注系统。.2．提出面向视频监控的语义描述方案：提出的描述方案或系统，实现了兼具通用性、可扩展性的视频语义描述算法；提出了面向运动目标的视频分段及语义描述方案；面向多核CPU平台，提出了一个多层次并行优化方案。.3．基于多Agent群体建模：提出了基于可变粒度多Agent群体建模方法，连接底层视觉特征和高层行为语义，降低了群体行为分析和理解的难度。.4．基于流体力学群体行为分析和语义描述：提出了基于粘性流体场的大规模群体行为分析算法，对时空域特征进行语义描述，通过LDA模型实现人群行为的识别和异常事件检测；提出了基于局部压力模型的异常行为检测算法；提出了基于流体通量和自适应遮挡系数的群体计数方法。.5．基于概率图模型的视频高层语义描述：提出了主动监督联合主题模型用于异常行为的识别；提出利用格兰杰因果模型分析原子行为之间的关系。.6．群体运动趋势语义描述：提出了基于散度和旋度的运动描述子，具有旋转不变和尺度不变特性；提出了基于运动场分解、编码以及SVM分类的群体行为理解框架，可以有效检测出多种典型的群体行为。.7． 多目标检测跟踪以及重识别系统：提出了一套多目标检测以及锁定跟踪系统，融合了背景建模、自适应前景分割、行人检测、以及改进的在线跟踪算法；提出了视角自适应子空间学习算法的行人重识别算法。.8．群体视频语义描述系统平台：构建了小型云计算平台，将上述群体视频语义分析与描述算法部署在该平台上，形成一套完整的面向群体监控的视频语义描述系统平台，可以对外提供群体视频语义描述服务。.上述研究成果已经部分应用于上海市公安局图像监控平台，以及道路卡口监控。相关成果获得AVSS2012最佳论文奖。已发表SCI/EI收录的国际学术论文25篇，其中SCI收录8篇。已申请专利15项，获得授权2项。