基于视频大数据分析的全天候监测场景理解技术研究

Scene understanding is a difficult problem and ultimate objective for intelligent visual surveillance, and it has very important research significance. With the extensive popularization and large-scale use of surveillance devices in cities, the phenomenon of big video data is gradually singled out. This project mainly studies surveillance scene understanding technology based on analysis of big video data. Considering the character that monitoring big video data can be easily affected by the environment, we study how to implement the low quality video in kinds of different surveillance environments for the challenge of all-weather high quality video acquirement. Considering the character that big video data are unstructured data, we study how to implement the structural representation of big video data for the challenge of representation of big video data. Considering the character that the content of big video data are strong correlated, we study how to implement large-scale monitoring scene understanding in complicated scenes for the challenge of multi-source linked scene understanding based on these big video data. For the methods proposed, we will build a prototype system for verification test. By bringing analysis of big video data into scene understanding, we provide a new solution for the difficult problem of lagre-scale monitoring scene understanding. The results of this project can be applied to many areas, such as city management and intelligent traffic.

场景理解是智能视频监控中的难点问题和最终目标，具有非常重要的研究意义。随着城市监控设备的广泛普及和大规模应用，视频大数据现象逐渐凸显。本课题主要研究基于视频大数据分析的监测场景理解技术：考虑监测视频大数据受环境影响大的特点，针对全天候高质量视频获取的挑战，我们研究如何在各种实际监测环境中实现低质视频的增强；考虑监测视频大数据非结构化的特点，针对视频大数据表示的挑战，我们研究如何实现视频大数据的结构化表示；考虑监测视频大数据内容关联性强的特点，针对视频大数据多源联动场景理解的挑战，我们研究如何在复杂场景中实现大规模监测视频的联动理解；对提出的视频场景理解方法，通过原型系统实现进行有效性验证。课题将视频大数据的分析引进场景理解，为解决大规模监测场景理解问题提供了另外一种思路。研究成果可广泛应用于城市管理、智能交通等多个领域。

视频场景理解技术是视频监控领域研究的难点问题和亟需攻克的技术，具有非常重要的研究意义。随着城市监控设备的广泛普及和大规模应用，视频大数据现象逐渐凸显。针对监测视频大数据受环境影响大、非结构化、内容关联性强的主要特点，申请人自项目批准以来围绕本监测视频场景理解的任务积极开展研究工作，在该研究任务细分的三个研究课题：低质视频增强、视频大数据结构化表示、复杂监测视频场景理解以及基于上述技术的全天候城市场景理解原型系统进行了深入研究。. 在低质视频增强方面，我们提出面向监控视频图像的多类天气环境下的低质视频分类模型，并提出面向夜晚环境下的低质视频增强方法。在视频大数据结构化表示方面，我们提出基于动态图模型的视频大数据结构化表示方法，并提出面向分布式交通监控视频的数据存储与快速检索方法。在复杂监测视频场景理解方面，我们提出一种基于分层的SVM的车辆分类方法，一种面向广域交通监测场景理解中车辆如何重识别的关键解决方法，一种面向行人的局域热点区域场景理解的关键方法，一种面向动态场景理解中前后背景分离的关键方法，一种面向视频大数据挖掘中对人的异常行为实时分析的关键方法，以及一种基于视频大数据的火情检测方法。同时，我们开发完成了一个基于视频大数据的全天候城市场景理解原型系统。. 大量的实验表明，我们提出的低质视频分类模型在所搜集的复杂分类天气视频数据集上达到了70%以上的准确率，提出的基于时空关联图模型的视频监控目标跟踪方法可以达到比传统方法高10%以上的准确率，提出的车辆分类方法达到了近90%的准确率，提出的基于深度神经网络模型的车辆重识别方法在mAP指标上比经典的Googlenet方法高出2个百分点，提出的基于深度神经网络的步态识别方法在各个监控视角下都达到了90%以上的识别准确率。本项目的成果应用可遍及城市管理、智能交通、公共安全、环境保护、现代服务、平安城市等多个领域，潜在的经济和社会效益显著。