大规模监测型时间序列历史数据的查询和分析关键技术研究

The rapid development of new technologies, such as sensor networks, Industry 4.0, cloud data centers and the mobile Internet, has boosted the growing popularity of monitoring applications, accumulating massive monitoring time series data. The crux of utilizing these data is the construction of corresponding distributed data management platform, based on which we can query, analyze and manage them efficiently. Meanwhile in monitoring applications, the target data holds the feature of being complicated, heterogeneous, large-scale and low-quality, which presents a big challenge to the management, query process and analysis. Based on real applications such as bridge health monitoring system, the project aims at the researches in the following four aspects, the uniformed representation data model, data management method, query process and analysis. The main technique contributions are the uniformed representation model of query criteria, the subsequence similarity query based on digest information, the complex query processing and optimization on time series data and the modeling and event recognition technologies of high-dimension time series data. The project is of important application value and academic value to the processing of monitoring data and the query analysis of big data.

传感器网络和物联网、工业4.0、云数据中心、移动互联网等新技术的快速发展推动了监测型应用的快速发展，并迅速积累了海量的监测型时间序列历史数据。构建相应的分布式数据管理平台，并在此基础之上进行高效的查询和分析处理，是亟需解决的问题。而监测型应用中，被监测对象结构复杂多样、并且其数据具有海量、异构、低质等特性，这些特点为数据的管理、查询和分析提出了巨大的挑战。本项目基于桥梁健康监测等实际应用需求，从统一的数据表示模型、数据组织方式、查询处理和分析处理四个方面展开研究。项目主要创新点包括：数据的统一表示模型、基于多粒度数据的查询处理、时间序列数据上的复杂查询处理、高维时间序列数据的建模和事件识别技术。项目的研究成果对于监测型数据处理和大数据查询分析领域具有理论和应用价值。

传感器网络和物联网、工业4.0、云数据中心、移动互联网等新技术的快速发展推动了监测型应用的快速发展，并迅速积累了海量的监测型时间序列历史数据。数据具有海量、异构、低质等特性，这些特点为数据的管理、查询和分析提出了巨大的挑战。项目组在时间序列数据管理、查询处理和分析等多个方面获得了多项成果。在数据管理方面，提出了多维序列压缩方法，并参与了Apache项目时间序列数据库的研发；在查询处理方面，提出了基于序列相似性的查询处理方法KV-match、应用于HBase的多窗口查询处理方法，以及基于值的查询处理方法DSI。在时间序列分析方面，提出了时间序列分类算法、聚类算法、关联分析算法、状态切分算法。成果应用于高铁、卫星、桥梁等多个领域。..项目发表论文12篇，其中包括CCF A类论文2篇，B类论文4篇。项目重要成果包括：.1.时间序列相似性查询算法KV-match。其通过对传统的支持标准化后欧式距离（或DTW距离）进行改造，使得可以通过构建索引的方式来支持对标准化子序列的相似性查询处理。并且，KV-match实现了构建单一索引来支持RSM-ED、RSM-DTW、cNSM-ED、NSM-DTW这四种查询。KV-match发表于ICDE 2019，并被实现到Apache项目IoTDB中，使得IoTDB称为唯一支持序列相似性查询的时间序列数据库。.2.时间序列分类算法ELIS。时间序列分类是时间序列分析领域的热点问题，近年来基于shapelet的分类方法被研究者广泛关注，其核心问题是如何高效获得高质量的shapelet。项目组提出了一种两阶段方法，第一阶段在大搜索空间中快速得到高质量的候选shapelet，第二阶段通过机器学习方法对候选shapelet进行微调，进一步提高其精度。实验证明，ELIS方法的准确性优于目前同类算法。该项工作被发表于ICDE 2018。后续项目组对其进行扩展，进一步提高其准确性，成果被期刊WWW Journal录用。..项目也取得了较好的社会影响力。由于申请人在时间序列数据查询处理方面的工作，申请人被邀请参加了2019年在德国举办的题为“Series Data Management”的达堡论坛（Dagstuhl Seminar）。项目成果应用于高铁的轨道异常检测、卫星地面测试中的故障发现、桥梁健康监测等领域。