多数据中心环境中科学大数据应用的数据布局与执行优化研究

Small or middle-sized Data Center (DC) in scientific experiments usually has limits in its computing, storage and networking capability. Such limits often cause the inefficient execution of scientific big data application in multi-datacenter environment. This project thus proposes to optimize three key components that impact the overall execution efficiency of scientific big data application: data placement, task assignment and job scheduling. Firstly, a request-pattern aware data placement algorithm is proposed with a joint consideration of the storage limit of each data center. It is able to significantly reduce the data access cost for those request patterns spanning multiple DCs. Secondly, a task assignment algorithm driven by the data placement objective is proposed. This algorithm accounts for the heterogeneity of time-varying computing capability available in each DC. By considering the trade-off between each DC’s computing and inter-DC’s networking capabilities, this algorithm can largely reduce the overall completion time for those batch computing tasks. Thirdly, a job scheduling algorithm that accounts for the storage and computing capability limits of each DC is proposed. This algorithm realizes the optimization of inter-DC data transfer by a joint consideration of the location of job’s input data in multiple DCs and the data dependencies between adjacent tasks of the candidate job. In summary, this project enacts a practical solution for the efficient execution of scientific big data application in multi-DC environment by the optimization of data distribution and job execution.

针对多数据中心存储、计算、网络等方面的资源限制引发的科学大数据应用分布式运行效率低下问题，本项目围绕多数据中心环境中科学大数据应用的数据布局和执行优化研究，拟从数据放置、任务指派和作业调度三个方面分别展开优化研究，分别重点解决其中的合理性、时效性、高效性问题。通过感知数据集的协同访问，针对数据中心的存储容量限制，提出访问模式感知的数据放置算法，实现跨数据中心数据访问代价优化；由数据放置驱动，通过权衡多数据中心计算和网络能力，针对数据中心间异构、动态变化的计算资源，提出目标数据驱动的任务指派算法，实现批量任务整体完成时间优化；通过感知作业的初始数据布局以及任务间的数据依赖关系，考虑数据中心的存储和计算资源限制，提出数据布局敏感的作业调度算法，实现跨数据中心执行作业的数据流量优化。本项目将为多数据中心环境下科学大数据应用的高效运行提供切实有效的解决方案，具有重要的理论意义和应用价值。

本项目以诺贝尔奖获得者丁肇中教授领导的AMS-02科学实验为研究背景，以多数据中心环境中科学大数据应用的数据布局与执行优化为目标，研究科学数据放置、科学数据生产任务指派、科学工作流作业调度的相关模型和算法，构建多数据中心环境中的科学大数据应用支撑平台原型系统，实现真实科学大数据应用的科学数据放置、科学数据生产任务指派和科学工作流作业调度优化。项目研究具体结果包括：（1）数据放置方面：提出了跨数据中心访问模式感知的数据放置方法、数据中心内的数据热度感知数据放置机制；（2）任务指派方面：提出了任务指派驱动的异构虚拟资源在线分配机制、大规模任务查询和指派方法；（3）作业调度方面：提出了面向科学工作流作业的资源供给机制、跨数据中心的工作流作业调度方法。（4）原型系统方面：实现了多数据中心环境中科学大数据应用支撑平台原型系统。项目组培养了云计算和数据中心网络领域的博士研究生2名，硕士研究生3名；在包括 IEEE TPDS、Cluster Computing、Tsinghua Science and Technology、CCPE、IEEE Network、IEEE Internet Computing、Journal of Computer Science、CHEP、CSCWD、SMC在内的期刊和会议上发表论文22 篇，其中SCI 收录11 篇，EI 收录20篇；申请国家发明专利 1 项。本项目的研究成果将为多数据中心环境，特别是存储、计算和网络资源受限的数据中心环境下的科学大数据应用运行优化，提供了一定的理论支撑和技术方法，对促进大型科学实验支撑计算环境的发展有积极意义，有利于更好发挥科学大数据应用潜在的巨大科学价值。