基于流处理方式的无触发数据获取系统的设计与验证

According to the specific task and the working character of the data acquisition(DAQ) system based on time-stamp (Trigger-less system) in large-scale physical experiments, the project will research on the system model, system architecture and its implementation of a new DAQ system, which is derived from the processing methods in Big-Data, such as Stream-processing, Bigtable and Map-Reduce, etc., with the combination of the advanced technique in current DAQ system design. In this new architecture, the real-time data processing in the experiment is implemented by a network made up of a lot of stream processing nodes, the free flow of the stream between different nodes is ensured by the consistent data interface and data format definition for global system, the experiment data are assembled and processed parallely by the stream processing nodes designed based on Map-reduce model. Eventually, a new data acquisition system with flexible architecture, powerful function, superior scalability and open interface is built up, which can fulfill the different demands derived from large-scale physical experiments. The implement, testing and verification of such a system in the CSR External-target Experiment will also be studied.

项目从大型物理实验的采用时间戳方式（无触发）方式的数据获取系统中面临的具体任务和实际工作特性出发，将现有大数据处理中的一些方法，如流处理，Bigtable, Map-Reduce等模型或方法引入数据获取系统设计中，并结合现有数据获取系统领域使用的最新技术，研究一种新的基于流处理的数据获取系统的系统模型、系统架构及其具体实现。在此架构中，使用大量流处理节点构成的网络完成实验中的实时数据处理，使用统一的节点间数据接口和数据格式定义保证各个流处理节点的自由连接，使用基于Map-reduce模型的流处理节点实现实验数据的组装和并行处理，最终形成一个结构灵活、功能强大，伸缩性強的开放性的数据获取平台，可以很好的完成针对不同需求的大型物理实验中的数据获取工作。同时项目将研究这样构建的无触发系统基于CSR外靶实验中的具体实现、测试与验证。

项目面向大型物理实验的数据获取系统设计需求，研究一种基于流处理的数据获取系统的系统模型、系统架构及其具体实现。经过五年的研究，在项目支持下，完成了一种自主开发的、基于流处理的通用数据获取系统架构的开发工作，并命名为数据矩阵（Data Matrix，D-Matrix）架构。在研究中，解决了系统架构设计、通用的数据接口和数据通信协议设计、流处理节点功能抽象和通用化、软件和FPGA模块形式的流处理节点实现、数据获取系统中的各个工作流抽象、数据获取系统中需要的实时处理的分布化和流处理化等关键技术问题，并形成了一整套完整的数据获取系统的实现方案。基于D-Matrix架构，项目中还开发了多种适用于大型物理实验数据获取需求的硬件插件，针对不同规模、不同工作方式（触发方式和无触发方式）的实验需求搭建了多种数据获取系统，并进行了充分的测试和验证。测试结果显示，D-Matrix架构表现出的实时处理能力、灵活性和可伸缩性，使之可以很好的胜任国内在近期或未来一段时间内的可能开展的大型物理实验中的数据获取任务。依托项目，目前共发表国内外期刊论文5篇（含已录用待发表1篇），申请专利3项，获批软件著作权一项，产生研究生学位论文4篇。目前，D-Matrix架构已经成为正在建设中的低温高密核物质谱仪（CEE）项目中的数据获取系统方案，并成为未来讨论中的超级陶粲工厂（STCF）等项目计划采用的数据获取方案。