面向云平台短时作业的集群调度器配置优化关键技术研究

Cluster schedulers provide flexible resource sharing mechanism for short-running jobs that occupy a majority of cloud jobs. A scheduler's configuration decides how to allocate resources among jobs and hence it is crucial to their performances. Today's cloud platforms usually rely on cluster administrators to set the scheduler's configuration, and thus it is difficult to optimize the configuration according to the dynamically changing workloads and available resources at run-time. Based on the workload characteristics of short-running jobs, this project investigates the configuration optimization for cluster schedulers, including: (1) it abstracts schedulers' resource allocation strategies and their heterogeneous and dynamic impact factors (workloads and available resources) into business rules and input factors of the rule engine, and constructs an automatic optimization framework widely applicable to different scheduling scenarios. (2) It studies run-time configuration optimization techniques for large-scale clusters and dynamic workloads of short-running jobs, thereby improving job performance. (3) It addresses the challenge of guaranteeing low tail latency of highly parallel services (e.g. search engines and e-commerce sites) in resource-sharing cloud environment, and studies the optimization techniques under elastic available resources on different nodes, thus improving both job performance and cluster cost efficiency.

集群调度器为占云平台作业大多数的短时作业提供灵活的资源共享机制，其配置决定了作业间资源分配策略，因此对其性能至关重要。当前云平台往往依赖集群管理者对调度器进行配置，因而很难在系统运行时根据负载和可用资源的动态变化来优化配置，是进一步提升作业性能的关键技术难题。针对短时作业的特点，本项目将对调度器配置优化开展研究，具体包括：（1）将调度器资源分配策略及其复杂多变的影响因素（负载、可用资源）抽象为规则引擎中的业务规则和事实输入，构建广泛适用于各类场景的调度器配置自动优化框架。（2）针对大规模集群和动态短时作业负载，研究系统运行时配置优化技术，提升作业性能。（3）应对共享资源环境下保障高并发服务（如搜索引擎、电子商务网站）低长尾延迟的挑战，研究面向节点弹性可用资源的配置优化技术，提升作业性能和集群成本效益。

集群调度器是云计算平台资源管理的核心组件，其资源分配策略的合理配置对集群作业性能至关重要。本项目面向在云平台中占大多数的短时运行作业，以及近几年快速发展的云边协同作业，在应用层、调度层两个方面，研究云平台作业调度与优化关键技术。通过应用拓步建模、规则引擎、深度强化学习、动态规划等手段，本项目解决或部分解决了面向海量数据的短时作业处理优化、面向深度学习模型的云边协同作业推理与训练优化、运行时集群调度器配置自适用优化等问题。项目重点研究两个典型集群调度器：（1）YARN，通过Drools规则引擎推理不同负载以及调度器配置下集群性能，更新配置以优化性能；使用真实云平台作业评测提出的方法，减小运行时间1.94倍；（2）Kubernetes，通过深度强化学习代理实时监控集群状况，并进一步设置最优的集群调度器配置，对比Kubernetes中11个代表性调度算法，实现了作业运行时间的大幅降低（平均15.78%）；并进一步开发Kubernetes集群仿真器，将将深度学习模型训练速度提高了180倍以上。 进一步，开发基于真实集群日志的2项基准测试集，以评测提出方法的有效性，促进了云计算、边缘计算领域中集群优化问题的解决，项目承担人以一作和通讯作者发表或录用CCF A高水平论文9篇，获批国家发明专利和软件著作权各4项，出版著作2本，培养十余名博士硕士人才。