视频数据空间化方法研究

Videos can be seen as an objective presentation of all elements throughout our living environment, spatial and/or no-spatial attributes. However they are just treated as a property of the spatial object to store and recall, which results in the absence of the interpretation and analysis their contents. Therefore, this project is divided into three interrelated contents based on the main line of video "Integration, Management, Visualization". Firstly, we define the new synthetic media as the locatable video, which is the integration of audio, video and locating information by means of the synchronization model, the coupling technique. Secondly, we plan to realize the automatic segmentation algorithm based on the relationship between the locatable video and the geographic entity, such as the road network. On this basis, the locatable video retrieval is implemented by developing the vision model of video frame and the time-space based index of video. Thirdly, we develop a tracking mechanism for entity in video frames, method of scheduling and labeling the layout, and then realize the adaptive tagging algorithm. Above theoretical and experimental analysis, the prototype system is developed. The study would expand the method of capturing GIS data and the way of expressing geographic space, enrich the theory and methods of geographic information science, and provide a new interactive platform for the public to obtain some useful spatial information. It will also play a major role in the emergency command, rapid response rescue, live tourism and so on.

视频作为一种常见的媒体，本身蕴含着丰富的空间和属性信息，不仅获取方便，而且表达的地理空间具有很强的真实感。现今GIS中视频常作为空间对象的一种属性进行存储和调用，使得视频没有得到充分利用。本项目拟通过对同步模型、耦合技术的研究，解决音视频信息与定位信息的融合问题，形成可定位视频；面向可定位视频，建立其与地理实体之间的匹配模型，实现视频的自动分割，在此基础上构建视频帧的视域模型，从视频帧、片段不同粒度层面建立高效的时空索引机制，实现基于时空的视频检索；构建可定位视频与三维场景模型间的映射关系，研究视频中实体目标帧间追踪机制,标注布局、调度策略，实现视频自适应标注算法；在上述理论研究与实验分析的基础上，构建视频GIS原型平台。研究不仅拓展数据采集方法和地理空间的表达方式，丰富地理信息科学的理论与方法，为公众提供一个全新的信息互动平台，也将在应急指挥、快速反应救援、实景旅游等领域发挥重大作用。

图像/视频作为一种常见的媒体，本身蕴含着丰富的空间和属性信息，不仅获取方便，而且表达的地理空间具有很强的真实感。现今GIS中图像/视频常作为空间对象的一种属性进行存储和调用，使得图像/视频没有得到充分利用。本项目拟通过对音视频信息与定位信息同步模型、耦合技术的研究，形成可定位图像/视频；从点、线、面不同层面构建图像/视频空间索引模型，实现基于位置的图像/视频高效检索；基于相机标定与图像匹配算法，实现可定位图像/视频自适应标注。经过三年研究，课题按计划完成相应的研究任务。主要研究成果有：.1）提出一种集图像、语音、地理位置、方位以及属性信息等多源异构采集要素于一体的可定位图像表达模型；重点研究了多源数据基于EXIF图像格式的组织与存储方式；实现了可定位、定制移动图像采集系统。.2）提出了一种基于Multipoint ShapeFile可定位视频格式，研究了基于离散余弦变换（DCT）的空间定位信息与音视频信息实时同步融合算法，实现了普通相机、双目相机等设备的可定位视频采集。.3）针对可定位图像，提出了以图像元数据、位置信息以及方位信息构建图像可视域的方法，并采用多级网格对图像可视域面状特征建立空间索引，实现基于可视域图像精确检索，实验表明该方法能更为精确的检索到图像；基于道路、行政区域等地理实体实现可定位视频分割，采用MultiPoint 数据结构对轨迹特征进行组织存储，解决了视频数据库存储冗余大且检索效率低的缺陷，实现了可定位视频高效检索。.4）提出了一种视频传感器覆盖范围计算方法，该方法将地理空间网格化，计算每个格网点被视频传感器覆盖范围的状况，获得视频传感器的覆盖范围。实验表明该方法能够更为精确地获得部署在地理场景中视频传感器的覆盖范围，同时兼顾了计算方法的速度和精度。.5）采用棋盘格标定算法实现相机内外参、畸变系数获取，通过标定结果分析表明该算法简单可行，且具有较高的精度；基于SIFT匹配算法实现图像特征快速匹配，同时通过RANSC算法剔除误匹配点，实现图像对精确匹配，解决了图像/视频标注的关键技术问题。.6）课题研究在国内核心刊物已发表科研论文6篇（其中EI检索1篇）；申请国家发明专利1项，2项软件著作权；获得“天地图”开发大赛三等奖1项，培养硕士研究生3人（毕业1人）。研究不仅拓展数据采集方法和地理空间的表达方式，同时也为GIS行业应用提供了更丰富的数据源。