虚拟化平台上的高能物理离线数据处理技术研究

The development and new discoveries of a new generation of high-energy physics cannot be separated from the mass data processing and analysis.High-energy physics offline software is the prerequisite and basis of the data analysis ,and its performance determines the progress and efficiency of data analysis.With the rapid growth of the high-energy physics experiments data,the traditional data processing system encounters many problems such as low resource utilization,application migration complex,difficulty in multi-application support and so on, which makes it urgent to transplant the data processing system to virtualization platform.However,the software design,resource allocation and job scheduling of high-energy physics are all based on physical machine.To solve these problems, the project will do a deep research on data processing technologies on virtulization platform including optimizing offline software to reduce the loss of performance on virtualization environment and proposing dynamic resource management and adaptive job scheduling strategy to improve job scheduling,resource utilization and running efficiency. The research on physical software, heterogeneous resource management and job scheduling will greatly increae the computational efficiency of data，which plays a very important role in speeding up the data processing of high-energy physics and approaching high level physical achievements.

新一代高能物理实验的发展及新发现，离不开海量数据的处理与分析。高能物理离线软件是数据分析的前提和基础，其性能决定着数据分析的进度和效率。随着高能物理实验数据的快速增长，传统的数据处理系统面临着资源利用率不高、应用迁移复杂、多应用支持困难等问题，急需将数据处理移植到虚拟化平台上。然而，目前高能物理数据处理在软件设计、资源分配和任务调度等方面都是基于传统的物理机器。针对这些问题，本项目基于虚拟化平台，通过对离线物理软件进行优化，降低软件在虚拟化平台上的性能损耗，同时对资源管理与调度进行研究，提出资源动态管理和自适应的作业调度策略，从而提高数据分析的效率和整体计算资源的利用率。通过对物理软件、异构资源管理与作业调度的研究，本项目将大幅度提高数据的计算效率，对加快高能物理数据处理过程和造出物理成果具有十分重要的意义。

随着高能物理实验数据的快速增长，传统的数据处理系统面临着资源利用率不高、应用迁移复杂、多应用支持困难等问题，急需将数据处理移植到虚拟化平台上。然而，目前高能物理数据处理在软件设计、资源分配和任务调度等方面都是基于传统的物理机器。针对这些问题，本项目的研究内容围绕高能物理离线数据处理软件与虚拟化技术相结合的关键技术展开，包括：高能物理离线软件的性能优化、虚拟化技术研究、高能物理软件的兼容性研究以及虚拟资源管理和作业调度策略研究。通过对离线物理软件进行优化，对事例建立索引信息数据库，减少所需读入的事例数，大幅提高了高能物理离线数据处理的效率。同时对KVM虚拟机在高能物理数据分析应用的性能优化，优化后的KVM性能CPU的性能损耗降低至2%~3%，并且高能物理的分析作业和模拟作业在虚拟机上的运行效率的损耗在接收范围内（3%左右），符合预期结果，完全能够满足高能物理计算的性能需求。项目还重点对虚拟资源管理与调度技术进行研究，提出资源动态管理和自适应的作业调度策略，并完成虚拟计算集群系统的设计开发，有效的提高了系统资源的利用率，平均资源利用率达到72%以上。虚拟计算集群是在高能物理的实际应用需求的牵引下，基于现有高能所现有计算环境，提出的一种新的方案，有助于提高资源利用率和系统灵活性。通过对物理软件、异构资源管理与作业调度技术的研究，本项目大幅度提高数据的计算效率，对加快高能物理数据处理过程和创造出物理成果具有十分重要的意义。