基于近似空间概化的高性能海量复杂时空聚类技术研究

To acquire and explore massive spatio-temporal trajectory dataset put forward the new challenge of efficient access to dataself and high performance calculation and analysis.How to efficiently extract the effective spatio-temporal trajectory patterns and knowledge discovery from datasets has become an important research issue in spatial data mining.The project will focuse on studying high performace spatio-temporal clustering technique based on MapReduce framework. And the city 's most frequent traffic flow information and the vehicle trajectory will become the research object.We will establish the basic idea and framework of high performance computing in massive and complex spatio-temporal clustering related technology and methods. These will solve the difficult and key problems, such as how to improve the quality of clustering, the effectiveness of the algorithm and computing performance, and how to effectively extract the meaningful spatio-temporal pattern and analysis. The designed algorithm are compared with the traditional algorithm in the effectiveness and computational efficiency. As well as the validty and performance of the algorithm will be confirmed, and the algorithm will be further optimized. Specific research content includes: (1) building summarization mechanism of massive complex spatio-temporal data quickly and effectively; (2) high performance summarized rough fuzzy clustering and expermental verification; (3) evaluation the effectiveness of spatio-temporal clustering, optimize the algorithm and analysis the spatio-temporal pattern. The research results of this project is expected to expand to apply in city public safety emergency platform.

海量复杂的时空数据获取及应用对数据的高效访问及高性能的分析计算提出了新的挑战。如何高效地从中提取有效的时空模式和知识发现已经成为空间数据挖掘中一个重要的研究内容。本项目拟基于MapReduce框架研究高性能的时空聚类技术，以城市内最为频繁的交通流信息和车辆移动轨迹为研究对象，建立起高性能海量复杂时空聚类相关技术与方法的基本思路和框架，解决如何提高聚类质量、算法的有效性和计算性能,以及如何有效地提取有意义的时空模式并加以分析处理等难点和关键问题。设计的算法通过同传统的聚类方法在有效性和计算效率方面加以分析比较并优化。具体研究内容包括：（1）建立快速有效的海量复杂时空数据概化机制；（2）高性能的概化粗糙模糊聚类算法及实例验证；（3）时空聚类的有效性评价及模式分析。本项目的研究成果可拓展应用于城市公共安全应急管理平台中。

海量复杂的时空数据获取增加了数据管理和计算分析的复杂性, 通过时空数据聚类技术能够提取地理现象中潜在的时空模式，并能应用到如城市交通、环境与气象监测等领域。如何高效地从中提取有效的时空模式和知识发现是空间数据挖掘中一个重要的研究内容。本项目主要的研究内容包括：1）研究了海量复杂时空数据集的概化机制，给出了基于数据压缩和粗糙集理论的概化策略，实验结果表明，当数据概化达到56.5%时，仍然可以得到最优的聚类结果； 2）高性能的复杂时空数据聚类算法设计与优化，采用了MapReduce的并行框架模型来研究聚类算法，实验结果表明当数据规模达到20%时，其单位数据量所需的时间急剧下降，并行计算的优势明显能够反映出来。在算法优化方面，考虑到多个优化准则对于聚类分析的重要性，提出了基于多目标混合函数的轨迹模糊聚类优化方法；3）算法有效性分析和时空模式分析，在聚类有效性指标的基础上改进了对空间距离相似性测度，通过实验结果来验证算法的有效性，并通过核密度估计的时空模式分析方法的研究，识别可能的交通热点。本项目通过建立有效的时空数据概化机制，既能够保留数据本身的主要特征，又能减少计算的复杂度，基于分布式并行框架设计的高性能时空聚类方法，能够确保算法的计算性能，通过对有效性评价指标的研究来验证算法和聚类结果的有效性，结合模式分析方法提取有意义的时空模式，能很好地应用于智能交通、公共安全应急管理等领域中。