地理视频结构化与检索方法研究

Geographic video with time and space reference is the main data type of video GIS management and analysis, which contains rich spatio-temporal semantic information. However, it is difficult to support the fast and accurate spatial and temporal semantic analysis of geographic video by analyzing the location / trajectory / visual space analysis and visualization of video content, which is limited by the inherent characteristics of geographic video large data, unstructuredness and streaming media. Therefore, it is necessary to break through the limitation of the inherent characteristics of geographic video, and to develop a set of geographic video retrieval theory and method, starting from basic activities such as important geographic video acquisition, organization and retrieval. This project starts with the acquisition of geographic video, studies the spatial methods of various types of video, and then studies the structured expression model and description method of geographic video in dealing with the characteristic of unstructured streaming media. Then, aiming at the characteristics of video large data, it studies the method of constructing the spatial and temporal semantic index of geographic video.The research of this project aims to realize the rapid and accurate retrieval of spatial and temporal semantic integration of geographical video under the unified space-time constraints.The breakthrough of relevant theories and methods is expected to greatly improve the efficiency of geographical video screening, significantly enhance the spatial and temporal semantic analysis of geographic video, efficiently provide greater application value to geographic video, expand the scope of video GIS applications, and enrich basic theory and methods of video GIS.

具有时空参考的地理视频是视频GIS管理和分析的主要数据类型，但受其大数据、非结构化、流媒体等固有特性限制，当前地理视频主要用于在位置/轨迹/视域空间分析和视频内容可视化，难以支持地理视频快速、准确的时空语义分析，因此，急需突破地理视频固有特性的限制，从地理视频获取、组织、检索等重点基础环节入手，发展一套面向时空语义解析的地理视频检索理论与方法。本项目首先从地理视频获取入手，研究现有多种类型视频的空间化方法；然后针对视频非结构化流媒体特征，研究地理视频结构化表达模型与描述方法；接着针对视频大数据等特性，研究地理视频时空语义索引构建方法。本项目研究旨在统一时空约束下的实现地理视频时空语义一体化快速准确检索，相关理论与方法的突破有望大幅提高地理视频筛选效率，显著增强地理视频时空语义分析能力，有助于发挥地理视频更大应用价值，拓展视频GIS应用的范围，丰富视频GIS的基础理论和方法。

视频数据是记录地理场景中静态和动态目标以及地理环境最为直观、最丰富的可视可听媒体信息源，在安防、交通、国土、环境等领域有着重要的作用。受限于视频数据具有非结构化、信息密度低、流媒体等固有特性，视频内容空间化、结构化、视频组织和检索一直是影响视频数据高效、深度应用等重点环节。本项目旨在以视频空间化-结构化-检索为主线，实现统一的时空框架下相机/视频/内容管理、检索和分析，一方面丰富视频GIS理论与方法；另一方面，将相机/视频/内容纳入统一的时空框架下，深化视频与视频之间、视频与其他地理数据之间的协同分析，切实提供视频数据的实用性。.本项目主要研究成果如下：在空间化方面，提出并实现了PTZ相机的实时定姿方法；探索了无定位信息的无人机视频的空间化方法；并提出了量化了空间点的分布的指标，以评估不同的控制点组合对平面空间化精度的影响。在结构化方面，提出了多层次（相机-视频-片段-关键帧-目标）数据组织方法；实现了视频中运动目标的检测、跟踪和信息提取及轨迹修正方法，提出并实现了无约束场景下车牌检测和识别方法，为视频目标图片、时、空、属性多模式检索提供数据源。在检索方面，实现了多种模式的相机/视频时、空、内容检索方法，不仅能够支持相机-视频-目标的多模式检索，还能支持特定应用需求下复杂检索需求。在基于视频/音频的环境因素感知方面，提出了视频和音频数据的降雨反演方法；并首次探索多相机协同的降雨量估算控制模型；提出了基于监控图像序列的PM2.5浓度估计方法。.本研究项目研究成果可为相机/视频/内容空间化、组织管理、检索分析提供理论和方法支持，已经在多个业务系统得到应用，受到用户好评。同时，本项目在环境因素感知方面的研究成果表明，视频传感器可作为稀疏分布的地面环境感测站点的补充，可用于构建低成本、高时空分辨率的环境检测地基观测网，相关研究具有广阔的研究和应用价值。