多模态多层次混合的场景数据高效组织索引方法

Existing scene data index organization methods based on tree or grid index is mainly used for descriptive visualization with fixed spatio-temporal access pattern. They are low efficiency when facing complicated relationships query, and difficult to support high-efficiency mixed query of multi-modal scene data for spatio-temporal query, semantics query and complicated relationships query. In order to adapt the multi-level visualization tasks requirements of multi-modal scene data with characteristics of cyber-physical-social fusion, this project systematically studies the efficient index organization and management method of multi-modal scene data. The research contents include: (1)Researching multi-modal and multi-level mixed scene data index mechanism to provide efficient scene data index organization strategy for diversified visualization tasks. (2) Designing spatio-temporal graph index structure and index updating & maintaining algorithms, to support global efficient index for association relationships of scene data. (3) Researching spatio-temporal, semantics and complicated relationships query algorithms based on graph pattern matching to adaptively meet the multi-level diversified visualization tasks; 4) Developing a prototype system and taking the intelligent management of typical urban facilities of Smart city as examples for experimental analysis. The research results of this project aim to lay a solid foundation for significantly improving the real-time visualization performance of multi-modal spatio-temporal data and provide theoretical method support for the visualization of spatio-temporal big data.

面向人机物融合的多模态场景数据的多层次可视化任务需求，针对已有基于树和格网等索引方法主要面向单一的低层次展示性可视化任务、时空访问模式固定、复杂关联查询效率低、难以支持多模态场景数据时空、语义及其复杂关联关系有效查询的难题，本项目系统研究多模态多层次混合的场景数据高效组织索引方法，主要内容包括：（1）多模态多层次混合的场景数据时空索引机制，为多样化可视化任务提供高效的场景数据组织策略；（2）构建时空关系图索引结构，提出内外存协同的索引更新维护算法，支持场景数据中关联关系的全局高效索引；（3）设计基于图模式匹配的时空语义及关联关系查询算法，自适应多层次多样化的可视化任务；（4）研发原型系统，并以典型城市设施智能管理为例进行实验分析。本项目研究成果旨在为显著提高多模态时空数据实时可视化性能奠定坚实基础，并为时空大数据可视化提供理论方法支撑。

面向人机物融合的多模态场景数据的多层次可视化任务需求，针对现有场景数据索引主要面向单一的展示性可视化任务，难以满足分析性可视化、探索性可视化等多样性可视化任务的难题，如何有效地组织多模态场景数据及其复杂特征关系，满足场景数据多层次可视化需求，成为当前虚拟地理环境和时空大数据可视化面临的巨大挑战。本项目从多模态场景数据特点和多层次可视化任务需求入手，系统研究了多模态多层次混合的场景数据高效组织索引方法。针对多模态场景数据特征以及多层次可视化任务（展示性、分析性、探索性）对场景数据调度的差异性需求，本项目提出了多模态多层次混合的场景数据索引机制,通过抽取场景数据之间的时空、拓扑、语义等关联关系，建立全局索引到局部索引的关联映射，全局索引通过时空关系图索引实现统一检索，局部索引通过对场景数据（基础框架数据、实时接入数据和关联关系数据）分类组织，采用多模态索引混合实现高效I/O，通过全局索引与局部索引协同/内存索引与外存索引协同的多模态多层次混合索引，为多样化可视化任务提供了高效的场景数据索引组织策略；针对已有场景数据索引方法主要面向单一展示性可视化任务、时空访问模式固定、复杂关联查询效率低、难以支持多模态场景数据时空、语义及其复杂关联关系有效查询的难题，本项目提出了时空关系图索引，基于图模型将多模态时空对象及其复杂关联关系抽象表示成图的节点和边，图节点通过关系（边）与其他节点关联，通过内外存协同的索引更新，实现复杂关联关系的高效组织与检索，特别适合假设推理、知识发现等分析性、探索性可视化任务需求；在此基础上，提出了基于图模式匹配的时空查询方法，支持场景数据时空及复杂关联关系的高效索引，并以智能城市管理若干典型应用为例，验证了本研究提出的相关理论方法。本项目研究提出的相关理论方法，为满足多层次可视化任务需求提供了技术方法支持，提升了多模态多层次混合的场景数据组织管理能力，丰富了时空数据可视化基础理论、技术和方法。项目资助发表学术论文17篇（SCI/EI，3/11篇），培养研究生10人，申请发明专利3项（已授权专利2项），授权软件著作权1项，参与国际学术交流8人次。