大数据环境下基于同步原理的数据流挖掘算法研究

Due to the rapid development of information technique, data streams have been produced at an explosive speed in diverse fields such as real-time surveillance systems, meteorological satellite remote sensing, mobile communication network, social network and e-commerce. However, due to the intrinsic properties of data streams: large volume, temporally ordered, evolving nature and the potential infinite length, the existing data stream mining algorithms are usually associated with high time and space complexity. Meanwhile, it is a non-trivial task to capture and learn the evolving data structure and concept drift, and to handle the data complexity. The previous works of the applicant demonstrate that synchronization is a powerful mechanism to extract hidden patterns from data. The synchronization–based data analysis also shows several desirable properties such as dynamic, data locality and multi-scale analysis, which allow handling the data stream mining problem well. Therefore, the objective of this project is to propose new data stream clustering and classification algorithms based on the principle of synchronization, which are expected to provide a promising way to extract knowledge from big data.

信息技术的快速发展使得高速数据流正以前所未有的速度在各个领域不断地产生，如实时监控系统、气象卫星遥感、移动通信网、社交网络及电子商务等。由于数据流具有海量性、时序性、演化性及潜在无限性等特点，目前大规模数据流分析面临时空复杂度高、数据演化跟踪与学习困难及数据源复杂等问题。申请人前期的研究表明同步原理是数据分析和挖掘的一个有力机制，且基于同步原理的分析方法具有的动态性、局部性及多尺度分析特性很好地契合了目前大规模数据流挖掘面临的问题和挑战。因此，本研究拟在大数据时代背景下，以同步原理为新视角，从数据流的聚类分析和分类预测两个方面展开深入的理论研究，探讨其面临的关键技术，提出新的数据流聚类和分类挖掘算法并在大规模数据流集上进行验证，提高人们从海量数据流中挖据和提炼知识的能力。

项目按照原定计划进行，完成了的基于同步原理的大规模数据流聚类分析和分类算法研究。针对数据流具有的海量性、时序性、演化性及潜在无限性等特点，项目以同步原理为新视角，从数据流的聚类分析和分类预测两个方面展开深入的理论研究，探讨了其面临的关键技术，提出了新的数据流聚类和分类挖掘算法并在大规模数据流集上进行验证，提高人们从海量数据流中挖掘和提炼知识的能力。因此，执行情况概述分为三部分，第一部分是基于同步原理的大规模数据流聚类分析：主要包括基于同步的大规模数据聚类算法研究、子空间聚类算法研究和数据流上的聚类算法研究。第二部分为基于同步的大规模数据流分类算法研究：主要包括基于同步的数据流分类研究、数据流上的半监督学习和分布式数据流算法研究。此外，在研究基础上，进一步扩展了相关研究。因此，第三部分为数据流挖掘在各个领域的应用研究：主要包括基于数据流的径流时空演化研究和脑科学上的应用研究。