铁道供电调度中心大数据集的广域同步与实时流计算研究

Dispatching data center of railway power supply, which acts as the command center of the traction power supply, where big data sets have characteristics of diversity, large size and high speed requirements, which makes the computing and storage capacity of the traditional client server architecture of railway power supply dispatching system be challenged, it is easy to cause the fault delay or miscarriage by the dispatching delay, then threatens the transportation safety. Big data sets of the railway power supply as the research object in the project, take advantage of the methods of data-driven, publisher and subscriber, stream computing and fault tolerant algorithm in tuple-level to do basic scientific research. Contents are as follows: (1) Establish the publisher and subscriber model, then use the data trigger to drive the publish system, to research the wide-area synchronization of railway power supply big data sets; (2) Use the stream computing method, with the help of message middle-ware to buffer stream data source, to explore the processing time efficiency of the high real-time big data sets; (3) Tracking the source and stream path based on the tuple of message units, to explore the fault tolerance algorithm in tuple-level. The aims of this project are to reveal the required conditions and laws of big data sets of real-time processing in railway power supply dispatching center, to overcome the dispatching delay, and avoid the loss of fault information and dispatching misjudgment, which will lay theoretical and technical foundation for railway power supply safety dispatching.

作为牵引供电指挥中枢的铁道供电调度系统，其数据中心的大数据集表现出多样性、体量大、速度要求高的特点，这使传统客户服务器架构的铁道供电调度计算能力和存储受到极大挑战，调度延时容易造成故障迟报甚至误判，从而威胁运输安全。本项目以铁道供电大数据集为研究对象，利用数据驱动、发布订阅、流计算和元组级容错算法进行基础科学研究。内容包括：(1)建立发布订阅模型，利用数据触发器驱动发布系统，研究铁道供电大数据集的广域同步；(2)运用流计算方法，借助消息中间件缓冲流数据源，探索高实时性大数据集处理的时效性；(3)利用对流计算的元组进行源流路径跟踪的手段，研究供电调度实时数据流节点处理失败时，快速自动容错的元组级容错算法及其适应性。本项目旨在揭示实时处理铁道供电调度中心大数据集所需的条件和规律，提升实时应对大数据的能力，克服调度延迟、故障报警信息丢失，避免调度误判，为保障铁道供电安全调度奠定理论与技术基础。

随着我国高铁的快速发展，铁路供电监控系统的规模和容量也逐渐扩大，整个高铁不仅将接触网的上网隔离开关纳入监控范围，而且将通信、环网柜、信号和10/0.4kV低压变电所近全景纳入监控范围，使得铁路监控系统采集到的信息呈指数增长，达传统普速铁路监控系统容量几十倍，形成铁路监测大数据。传统的数据运算模式在处理海量监控信息时容易造成较大处理延时甚至消息堆积，影响了实时信息的调度处理，严重时可能导致关键信息的迟报和漏报，从而威胁到列车的行车安全。因此，本研究计划从目前铁道供电监控急需解决的数据同步、快速处理以及实时容错这三个方面进行研究。针对数据服务器端及用户界面端的大数据同步方法，结合数据库触发器技术及发布订阅技术实现调度主站端的大批量数据同步，同时通过对分布式消息系统的主题分区数的合理设置，可提高数据吞吐量；针对铁道供电大量数据集处理易卡顿问题，融合流计算和消息队列，搭建适应铁道供电调度监控的流计算实时处理平台，对流计算参数优化设置获得更低的监测数据处理延时，改进任务调度方法，从而使集群中每个节点的负载更加均衡，优化了系统整体的实时处理效率。针对分布式配电自动化系统大量监测实时数据缺乏高效的分布式故障容错机制问题，研究一种血统链标记容错新方法，结果表明，在应对突发数据节点故障时，该容错方法不仅可降低集群计算节点的CPU平均占用率、网络IO消耗和磁盘占用率，还可以减少迭代运算的计算耗时。我国高铁运行实践表明，铁道供电易受大风、雷暴等发生供电设备故障、故障率较高，快速准确的供电调度监控可以大幅降低铁路供电故障处理时间，从而降低晚点率，因此，铁道供电综合调度监控水平的提高，对保障电气化铁路行车安全、提高铁道运输能力具有重要意义。