面向多用户共享云计算平台的大数据处理公平性研究

Cloud computing, as a new computing model, has become a preferred platform for running data-intensive applications. Current cloud providers allow users to rent computing instances to run their data-intensive applications in a pay-per-use manner. A high resource utilization of the cloud resource is important for both the performance and cost efficiency. However, in practice, it is most likely that the resource demand of a user varies over time, indicating that it’s difficult to ensure the resources can be fully utilized all the time. Resource sharing among users/applications is a classical and effective approach for high resource utilization. Fairness is an important system issue in resource sharing, since only when the fairness is guaranteed, the resource sharing can be possible across users. However, we find that, existing fairness policies in HPC, parallel computing and grid computing are unsuitable for cloud computing due to several serious problems in the cloud, including trivial workload submission problem, untruthfulness problem and resource-as-you-contributed unfairness problem. To address it, we propose a series of new fairness policies for the single-resource and multi-resource allocations in cloud computing by studying the basic characteristics of cloud computing. Finally, we implement these fairness policies in YARN as a plugin.

云计算作为一种新的计算模式，已成为大数据计算的首选平台。云服务商通过按时收费服务方式让用户通过租赁云计算资源进行大数据处理。在云计算中保持一个高的资源利用率对于提高程序性能和资金使用性价比意义非常重大。然而，由于用户对资源的需求往往是随时间而不断变化的，一直保持一个较高的资源利用率对于单个用户而言是一件非常困难的事情。多用户资源共享是一个非常经典有效的提高资源利用率的方法。满足公平性资源分配是资源共享的前提和保证。本课题从经济学角度研究分析发现，传统的高性能计算、并行计算和网格计算中已有的公平性资源分配算法和策略在共享云计算平台中存在几个严重问题（包括：自私用户提交无用任务问题，狡诈用户受益问题和付出与回报不成比例问题）使得其并不适用于共享云计算环境。据此，本课题通过研究云计算的一些基本特征，提出一套面向共享云计算平台新的单类型和多类型资源公平性分配算法，并将其以插件方式实现于Yarn中。

在当今大数据和人工智能时代，云计算平台已经成为数据处理和分析的首选计算平台。其资源的利用率对于云用户和云提供商而言至关重要。由于用户计算任务量随时间不断往往是不断变化的，云平台的资源利用率通常很低。资源共享是有效提升多用户资源利用率的一种手段。然而，在共享计算环境下，保证多用户的资源分配公平性是共享机制持续的前提。因此，本课题以云计算为研究对象，考虑在多用户共享环境下如何提升资源利用率并保证用户的公平性。. 本项目对于共享云平台环境下多用户的公平性，提出了一个长周期多资源公平性分配策略，充分考虑了云计算的Pay-as-you-use特征，使得多用户在资源分配过程中满足几大重要的经济学属性（包括共享激励性、帕雷托效率和资源分配与贡献成正比属性）。基于YARN设计和开发了一个原型MRYARN，实现了所提出的长周期多资源公平性分配策略。另一方面，考虑到公平性和系统性能之间存在一个平衡，继而提出了一个基于Knob的公平性与系统性能的平衡调度策略QKnober，允许用户通过调节Knob的值，实现动态的公平性和系统性能彼此的平衡性。此外，本项目还开发了一个元调度器FLEX，其基于已有的调度算法，在不修改已有的资源分配系统前提下实现资源利用率和公平性的平衡。. 此外，本项目围绕云计算环境还针对一些具体应用算法进行了调度优化，包括动态规划算法在CPU-GPU云平台下的调度优化、多序列匹配算法共享优化及在GPU环境下的调度优化等。