超级计算机在高能物理大规模数据处理中的应用

With the increase of luminosity and establish of new experiments, high energyphysics is accompanied by a need for increasing amounts of data processing which is expected to exceed the capabilities of the current computing infrastructure.China has the fastest and largest supercomputers in the world. This undoubtedly provides a new opportunity to make use of the powerful computing resources of supercomputers and solve the computational problem of high energy physics experiments. However, there is a big difference between the supercomputer environment and the existing resources in terms of hardware structure, computing environment, and job scheduling. Therefore, this project aims to study the high energy physics massive data processing in supercomputers smoothly and efficiently through the application of BESIII experimental offline data processing on Tianhe-2.

随着高能物理实验的发展，已有实验亮度不断提高，新的高强度新实验不断启动，如何在急剧增长的实验数据处理和大规模模拟导致的大规模计算需求面前，满足短时间内数据处理的需求，成为高能物理实验面临的巨大挑战。中国具有世界上最快、规模最大的超级计算机，具有强大运算资源和计算能力，这无疑为解决高能物理实验计算需求问题提供了新的契机。但是，超级计算机在硬件底层架构、计算环境、作业调度等方面与现有资源存在较大差异。因此本项目旨在通过BESIII实验离线数据处理软件在天河二号上的调试运行，研究如何顺利实现超级计算机在高能物理数据处理中高效地大规模应用。

随着高能物理实验的发展，已有实验亮度不断提高，新的高强度新实验不断启动，如何在急剧增长的实验数据处理和大规模模拟导致的大规模计算需求面前，满足短时间内数据处理的需求，成为高能物理实验面临的巨大挑战。中国具有世界上最快、规模最大的超级计算机，具有强大运算资源和计算能力，这无疑为解决高能物理实验计算需求问题提供了新的契机。本项目通过容器和CVMFS两种方式把BESIII实验离线软件成功部署到了超级计算机上，并且在天河二号上进行了多次大规模并行测试。引入master+slaver的二级结构，同时引入并行I/O管理技术，改善软件在超级计算机上的并行性能表现。通过采用Python+MPI脚本封装的方式实现高能物理数据处理软件在超级计算机环境中的MPI大规模运行，十万核测试，加速效率超过75%，成功实现了十万CPU核和十万事例量的并发模拟。为方便用户操作，编写了从高能物理研究所的服务器提交作业到天河二号上的简化接口。研究了从广州天河二号超算中心往北京高能物理研究所的数据传输情况，同时对数据传输的有效性、完整性进行了验证，传输速率可达20MB/S以上，基本可以满足数据传输的需求。通过本项目的研究，为其它高能物理实验在超级计算机上的运行提供了一个范例，由于高能物理软件的相似性，其它高能物理实验的软件以后同样可以在超级计算机上运行，以解决当前高能物理实验计算资源紧缺的问题。