复杂事件大数据处理系统测试数据生成方法及应用技术研究

Big Data is coming irresistibly with fast development and wide application of computer technology. The Big Data is created by IT and it challenges IT's technology contrarily. How to conquer the challenges is an open problem. The Complex Event Processing(CEP in short) sound to be one of promising technologies because it’s technical strategy on event flow analysis. However, there are much insufficient in current CEP model, event pattern checking and CEP engine testing because the event flow has become bigger. In our proposal, a researching plan for modeling CEP and generating test data of CEP engine based on the CEP model is proposed. We advise an algebra approach to describe relationships among complex events and event operators are employed to describe CEP model. Based on the proposed CEP algebra model, a series of algorithms are advised for generating Complex Event Big Data, including Baysian Learning for computing probability destributions of events pattern, Data Compressing for storing big event data, Data Recoving for generating runtime big flow data and Event Pattern Cheking for filting an event pattern. In order to be approved, we do state the feasibility of our researching plan.

大数据源于信息技术，反之又向信息技术提出挑战。如何征服大数据带来的挑战是一个广泛关注的课题。复杂事件处理（Complex Event Processing，简称CEP），由于它面向流式数据的处理策略，被认识是有希望征服大数据挑战的技术之一。然而，目前的CEP模型、事件模式检测和CEP引擎测试数据生成方法和技术都存在很多不足。本申请提出复杂事件处理系统代数途径建模和系统测试数据生成的研究计划。基于提出的代数模型，拟研究一组CEP测试数据生成算法，包括用于获得事件模式分布的贝叶斯学习算法、用于存储测试大数据的压缩算法、用于生成实时大数据流的数据恢复算法，以及用于过滤事件模式的事件模式检测算法。最后我们还阐述了上述研究方案的可行性。

按照研究计划从理论研究、算法与实验研究、软件工具实现和成果应用四个方面展开研究工作。结合GPS的机动车轨迹大数据生成等五个典型的随机事件大数据场景，对大数据生成机理进行研究，提出了基于贝叶斯网络的大数据生成模型和算法。通过对小样本真实数据集的学习，构建贝叶斯网络模型，在此基础上生成大样本数据集。分别对随机事件大数据生成和级联随机事件大数据生成两种情形进行实验分析，生成的大数据与原始大数据集有较好地相似度。把研究成果应用到北京交通路网拥堵预测和语音大数据生成等应用场景中，解决了机器学习训练大数据集不完备等问题。开发了相应的大数据生成软件工具。..项目执行过程中，多次参加国内外学术活动，展示了国家自然基金项目的研究水平和实际意义。在项目资助下也培养了3届毕业硕士研究生和3名老师晋升职称。.