云环境下支持虚拟集群的跨层协同调度机制研究

This paper is the study on the resource management and task scheduling of virtual cluster in cloud computing environment. Coordination of the resource scheduling is made on virtualization layer, storage layer and calculation layer and breakthroughs are expected to made in the following aspects: First of all, the relation between the virtual machine and physical machine of different users in resource competition is analyzed. Based on this, the self-adaption adjustment tactic of dynamic virtual machine configuration is put forward, so is the assessment method on the performances of binding strategy and logical cluster of the virtual machine. Then, based on the features of dynamic configuration for virtual cluster and the local feature of data, a double-layer redundancy storage mechanism for physical and virtual machines will be established, including capacity distribution, storage method and replacement policy. At last, from the perspective of task scheduling on calculation layer, the design shall satisfy double-objective scheduling algorithm in terms of application availability and response time restriction and shall mitigate the problem in data localization so as to improve the performance of virtual cluster. This paper tries to propose a series of scheduling algorithm in order to provide a broader research approach in optimizing the performance of cloud computing environment which supports virtual cluster.

本项目对云计算环境下虚拟集群的资源管理及任务调度展开研究，在虚拟化层、存储层和计算层三个层面上对资源的调度进行协同，拟在以下几个方面展开研究：首先，分析不同用户虚机对物理机资源的竞争关系，在此基础上提出虚机动态配置的自适应调节策略，虚机捆绑策略和虚机逻辑簇的性能评估方法。然后，针对虚拟集群动态配置的特性和数据本地性问题，建立物理机+虚机的双层冗余存储机制，包括容量分配、存储方法和替换策略。最后，从计算层任务调度角度，设计满足应用可用性和响应时间约束的双目标调度算法，并能够缓解数据本地性问题，提高虚拟集群的性能。本项目拟通过对云计算环境中支持虚拟集群的调度机制和算法的探索，为云资源的更高效管理和利用提供一定的理论和技术支撑。

项目执行三年来，紧紧跟随云计算的最新动向和发展趋势，在云计算环境下虚拟机群的资源管理进行了系统深入的研究工作，对复杂云计算环境下的单目标和多目标任务调度算法的构建进行了探索。.（1）在虚拟机资源管理理论与方法研究方面：.在云计算中，为了降低云用户的成本，本项目引入了一个新角色，即云代理。云代理是云提供商和云用户之间的中介代理。它从云提供商那里租用了许多预留的虚拟机，并以比云提供商提供的价格更便宜的价格向用户提供。除了，与云提供商相比，云代理采用更短的计费周期。通过这种方式，云代理可以减少用户的大量成本和存储空间。除了降低用户成本之外，云代理还可以获得按需和预留VM之间的价格差异。在项目中，我们实现了如何配置云代理以及如何为其虚拟机定价，以便在节省用户成本的前提下最大化其利润。给出了一系列比较，表明云代理可以为用户节省可观的成本和存储空间。.（2）在任务调度理论与方法研究方面：.（Ⅰ）针对云计算多用户应用中存在的任务到达时间和任务到达数据量不确定性的问题，考虑用户实时性需求，基于马尔科夫决策过程提出了概率型调度的思想；.（Ⅱ）针对云计算中任务调度问题，建立了一个非合作博弈的多角色任务调度框架，在此基础上提出了一种基于纳什均衡联合调度策略的强化学习算法；.（Ⅲ）针对云计算中任务调度问题，提出了一种新型混合启发式任务调度算法，该算法能快速收敛，同时解决了Makespan和Load Balance之间的平衡问题。.在上述模块的云计算环境下资源管理和任务调度理论成果基础上，设计和实现了一系列针对不同系统环境和不同优化目标的可扩展的并行算法，顺利完成了项目申请书的预期研究目标。