10亿级大规模矢量数据空间计算模型研究

Due to the great difficulty in tackling the computing demands of massive vector data, which is up to the mount of hundred millions, with traditional GIS spatial operation algorithms, the research aims to explore a set of spatial computing method and technical system for massive vector data in the distributed environment. In the theory aspect, our research is expected to refine and demonstrate the parallelization process partition method of spatial computing operators, study the parallelization mathematical representation and process definition for the spatial computing operators based on Set Theory and Portfolio Analysis, integrate the IPSS model and conversion relationships of spatial object set to implement the computing operators process representation. In the technical aspect, our aim is to design a lightweight vector data organization structure, augment transmission efficiency of spatial objects between nodes, solve the multiple tasks computing performance skew by adopting the computing work evaluation model, utilize synchronization construction mechanism for multiple nodes spatial index to enhance the spatial index construction efficiency in runtime. Based upon the theory and technical research, combining computing demands of hundred millions complex features, the existing distributed computing ecosystem and the massive vector data spatial operators are integrated seamlessly. Our research is promising to employ the abstract representation ability in math and parallelization process partitioning of spatial computing operators with unified representation, combine with the optimization of the vector data processing methods, and achieve the overall promotion of high-efficiency, reliability and scalability for spatial data computing.

针对现有并行GIS空间操作算法无法应对亿级以上大规模矢量数据计算需求的难题，本研究探索在分布式环境下大规模矢量数据的空间计算方法与技术体系。在理论上，提炼与论证空间计算算子并行化流程划分方法，研究以集合论、组合分析为基础的空间计算算子并行的数学模型，结合IPSS模型与空间对象集合的转换关系实现并行算子的流程表达。在技术上，拟设计一种轻量级的矢量数据组织结构，提升节点间空间对象传输效率；通过计算量评估模型解决多任务计算性能倾斜的问题；利用多节点空间索引同步构建机制提升运行时空间索引构建效率。在理论与技术方法研究的基础上，结合亿级复杂要素空间计算现实需求，实现现有的分布式计算生态系统与矢量大数据基础空间算子的无缝集成。本研究有望利用现代数学的抽象表达能力，表达统一的空间计算算子并行流程划分，结合对矢量数据处理技术方法上的优化，全面提升空间数据计算的高效性、可靠性与扩展性。

近年来，随着我国空间数据采集手段日益丰富，精细化管理日趋深入，地理信息技术在国土、林业、交通、海洋、水利等多个领域广泛应用，高精度、大覆盖的超海量矢量空间数据呈爆炸式增长，矢量大数据时代已然来临。“量变”引起“质变”，面对亿级超大规模矢量数据的存储管理和分析计算，现有GIS并行计算理论、方法和商业空间数据处理平台的能力几近极限，地理信息理论和技术面临着严峻挑战。本研究围绕矢量大数据空间计算展开研究，以云计算、内存计算作为创新方法和计算技术驱动力，攻克10亿级以上矢量大数据计算方法和关键技术难题，形成新型高性能空间计算理论与方法体系，提高地理信息行业应对“时空大数据时代”挑战的能力。.本研究利用现代数学的抽象表达能力，描述统一的空间计算算子并行流程划分，结合对矢量数据处理理论和技术方法上的优化，全面提升了空间数据计算性能，为10亿级矢量数据空间计算现实需求提供理论与方法支撑。主要研究内容和成果包括：.（1）建立了无依赖并行和串行同步计算(Independent Parallel and Serial Synchronization，IPSS)数学定义模型，抽象基本空间操作算子，为分布式环境下大规模矢量数据空间计算建立统一处理范式；.（2）设计了面向分布式计算的轻量矢量数据组织结构，实现空间数据在分布式节点间的快速数据交换以及无依赖分割与归并，降低计算过程中矢量数据传输的网络I/O与内存开销；.（3）建立了运行时多节点空间索引同步构建机制，满足大规模矢量数据的高效并行空间检索，制定一套基于计算量评估模型的空间计算任务划分策略，保证并行任务的高效、均衡化执行。.经过三年的深入研究，提出包含空间并行计算统一范式、任务计算评估模型方法和多节点间空间索引同步构建方案等核心内容的面向10亿级矢量大数据高效能计算方法一套，并应有在国家土地大调查等国家级实际项目中，取得了很好的效果。培养研究生10名；获得软件著作权5个，授权国家发明专利3项，发表高质量论文32篇。