支持多实验的分布式计算平台研究

In the Big Data times, modern high energy physics experiments have higher demands on resources and international cooperation, and the distributed computing has become a necessary tool for organizing and sharing resources. Inspired by successful application of distributed computing in BESIII, more experiments such as JUNO、CEPC、LHAASO also plan to have their own distributed computing. To simplify and accelerate the application of distributed computing in new experiments and share distributed resources among experiments, and to ensure operational quality and reduce operation costs, the project will focus on studies of multi-experiments supportable distributed computing platform. To achieve high scalability and flexibility, the platform will be implemented in three-layer structures, the resource layer presenting uniform resource view to the upper layers, the service layer providing the necessary multi-experiment supportable distributed computing facilities, the application layer providing unique interface for physicists. The platform also will implement user authentication based on VO to achieve good control of authority and priority of resource usage. Finally the project will prove its feasibility and ease of operation by successful applications of distributed computing in JUNO and CEPC with one platform.

随着高能物理大数据时代的来临，现代的高能物理实验对资源和国际合作的需求已经到了新的高度，分布式计算已经成为不可缺少的资源组织和共享工具。分布式计算在BESIII实验上的成功尝试使得JUNO、CEPC、LHAASO等实验相继提出了对分布式计算的需求。为了简化和加速新实验对分布式计算的应用进程和实现实验间分布式资源的共享，同时也是集中管理保证运行质量和节约成本的需要，本项目将致力于支持多实验的分布式计算公共平台的研究，采用三层实现架构将资源、服务和应用剥离使得平台具有良好的可扩性和灵活性，资源层将屏蔽异构为上层提供统一的资源视图，服务层则提供分布式计算的基本服务，应用层则为实验用户提供使用分布式资源的统一接口，基于VO的用户认证管理的实现将确保对资源使用的权限和优先级的准确控制。最终本项目将以实现分布式计算在JUNO和CEPC实验在同一分布式计算平台上成功规模应用来验证平台的可行性和易操作性。

随着高能物理大数据时代的来临，现代的高能物理实验对资源和国际合作的需求已经到了新的高度，分布式计算已经成为不可缺少的资源组织和共享工具。为了简化和加速新实验对分布式计算的应用进程和实现实验间分布式资源的共享，同时也是集中管理保证运行质量和节约运行成本的需要，本项目分析了多个实验的大规模数据共享和处理的需求，通过对分布式计算系统的资源、服务和应用三层架构的深入研究、搭建和开发，成功实现了通用且具有良好可扩展性的分布式计算平台，使得同一平台同时支持了BESIII、JUNO、CEPC等多个实验，为异构资源和异地数据实现了统一资源视图和全局的数据视图，提供了资源管理、作业管理、数据管理、用户授权和认证等关键服务，并为用户开发了简单灵活的应用接口，实现了 JUNO 和 CEPC 实验的数据产生和处理在该平台上的成功规模运行。截止2021该平台已经成功通过分布式计算平台利用国内国际异地异构资源，完成了百亿事例的数据产生和处理，并且完成了PB级数据在国内国际站点间的高速传输，将成为JUNO实验取数后数据产生和处理的主要计算平台。该项目的成果很好地加速了JUNO和CEPC实验的数据处理，大大支持了实验探测器和物理的研究。