GPU虚拟多通道不对称并行模型与公平调度策略研究

Because GPU has evolved a complicated parallel computer system in which has multiple kinds of resources, it is a key point of high performance GPU virtualization how to organize and manage internal resources of GPU, and improve the parallel potential of resource exploiting in the case of meeting diversified GPU application workloads and asymmetry performance requirement of virtual computing environment. Through analyzing hybrid application workload characteristics of virtual computing environment, an asymmetric parallel model of GPU virtual multi-channel is proposed, which divides the GPU field into multiple virtual GPU subsystem that are asymmetric in performance. This model can be applied to heterogeneous GPU application with multiple performance requirements. The asymmetrical parallel division methods of resources and resource borrowing strategy among virtual GPU subsystems that match with different application workloads are also researched. On the basis of this model, we propose a fair scheduling strategy for asymmetric parallel virtual multi-channel, and different GPU workloads of virtual comuting environment can be dispatched to virtual GPU subsystems of different performance so as to utilize appropriate internal resources to serve corresponding application requirement. As a result, the parallel potential of internal resources can be improved, and the resource employment fairness can be maximized with the premise of meeting performance requirements of GPU application workloads. Our research work can provide new research approaches for GPU modeling, analysis, design, and development of virtual computing environment.

GPU域已经更像一个完整复杂的并行计算系统，域内资源种类繁多，在满足虚拟计算环境多样化的GPU应用负载和不对称的性能需求前提下，如何组织与管理GPU内部资源，提高资源利用并行潜能,是高性能GPU虚拟化设计面临的关键问题。通过分析虚拟计算环境应用混合负载特性，提出GPU虚拟多通道不对称并行模型，将GPU域分离为性能不对称的多个虚拟GPU子系统，分别服务于多种性能需求不对称的异构应用；研究GPU资源的不对称并行划分方法、与不同应用匹配的虚拟GPU子系统之间的资源借用策略。在此基础上提出多通道虚拟GPU子系统公平调度策略，将虚拟计算环境多类GPU应用负载分派到不同性能的虚拟GPU子系统，以合适的内部资源来服务适当的应用需求，在满足应用性能需求前提下，提高GPU内部资源并行潜能及最大化资源使用公平性。本项目预期成果将对虚拟计算环境GPU子系统建模、分析、设计与开发提供新的研究思路。

GPU域已经更像一个完整复杂的并行计算系统，域内资源种类繁多，在满足虚拟计算环境多样化的GPU应用负载和不对称的性能需求前提下，如何组织与管理GPU内部资源，提高资源利用并行潜能,是高性能GPU虚拟化设计面临的关键问题。对此，我们提出GPU虚拟多通道不对称并行模型，以满足应用性能需求并提高GPU域内部资源利用率和资源使用的公平性。. 在不对称并行理论模型方面，首先对GPU系统内部资源的不对称并行划分方法进行了研究。通过对应用需求不对称的GPU子系统内的各种资源利用概率、访问速度及频度等进行统计回归分析，将GPU应用的多样性融合到资源划分等主要过程中，建立了GPU域内部资源绑定集的不对称并行划分模型，即多通道并行的虚拟GPU子系统（vGPU）结构，为多个虚拟GPU子系统不对称并行划分了相对稳定的静态资源绑定环境。. 在与GPU应用服务关联的资源动态调配方面，采用了资源借用的方式，基于对各个GPU应用的预期响应，对多个虚拟GPU子系统绑定资源的相对利用率作出资源借用决策。首先静态分配均等的初始权重值，再根据不同的GPU应用类型动态计算权重，以向其它虚拟GPU子系统通告某类资源的使用状态。借鉴并扩展了基于信任（credit）的资源分配方法，将需要转移的资源量化为credit改变数，结合日志分析动态调配虚拟GPU子系统间的资源权重。. 在公平调度算法及评测方法方面，通过分析GPU的编程模型，将GPU命令块处理引擎的分配转化为对各个vGPU占用CPU调度的时间片分配，并分配一个数组记录该时间。提出了一种基于轮询的时间片分配算法，实现对vGPU占用引擎的时间片分配。借鉴并扩展了CFQ调度算法，并结合彩票算法来保障GPU命令请求块的延迟需求，实现多个vGPU之间的公平调度。. 在实现物理GPU加速的视频编解码方面，通过探索GPU内部的视频编解码引擎和透传机制，设计了虚拟环境下GPU加速的视频编解码架构，并重新设计了Codec优先级调度算法和动态显存分配算法，有效避免了视频编解码命令处理的滞后，保持了良好的公平性和稳定性，获得了良好的视频播放效果。