高能物理离线数据处理虚拟计算资源管理技术研究

With JUNO and LHAASO experiment development, the amount of data increasing quickly, the computing resources are increasingly strained and the peak computing needs urgent. By using virtualization technology to build a virtual computing cluster, physical computing clusters fused into a large pool of resources to provide sufficient virtual machine resources. However, high-energy physics experiment environment includes multiple types of jobs currently, how to manage and allocate the virtual resource reasonably and effectively determines the efficiency of the computing system. To solve this problem, the project will focus on virtual resources and scheduling policies, and research virtual resource pool management technology, virtual resources dynamically scheduling algorithm, job priority policy, and virtual machine placement strategy technologies to improve resource utilization. Through the study of virtual resource management and allocation, the project will greatly improve the efficiency of virtual computing cluster, which helps JUNO,LHAASO and other experiment to achieve high level physics results faster and earlier.

随着江门中微子实验（JUNO）、高海拔宇宙线观测站（LHAASO）等实验的进行，数据量急剧增加，计算资源越来越紧张，峰值计算需求迫切。虚拟计算集群通过虚拟化技术，将物理计算集群融合成一个大的资源池，提供足够数量的虚拟机资源。然而，当前高能物理环境中包含多种实验类型作业，如何合理高效的管理与分配虚拟资源池决定着计算系统的效率。针对此问题，本项目对虚拟资源的管理与分配技术进行研究，着重研究虚拟资源提供与调度策略，研究多实验虚拟资源池管理技术、虚拟资源动态调度算法、作业优先级策略、虚拟机放置策略技术，以提高资源利用率。通过对虚拟资源管理和分配技术的研究，本项目将大幅提高虚拟计算集群的运行效率，为JUNO、LHAASO等实验早出快出高质量的物理成果奠定坚实的基础。

本课题基于针对高能物理计算集群资源利用率不高的问题展开研究，使用高能所OpenStack和HTCondor构建的虚拟计算集群实际应用环境，结合高能物理计算的特点，设计并实现了一种弹性计算资源管理系统，根据HTCondor中各队列作业排队情况，动态分配计算资源。与预分配资源的静态虚拟机集群相比，最大的特点是资源分配更具有灵活性，队列资源池可根据需要弹性伸缩。目前系统已在IHEPCloud上进行了实际部署，并应用到LHAASO实验中，从实际运行情况来看，计算资源利用率相比传统的静态资源管理方式有显著地提高。