基于应用“裂解-表征-聚合”的异构数据中心资源利用率提升技术研究

Modern datacenter is underutilized, with an average utilization of only 6% ~ 12%. To tackle this problem, researchers have proposed a series of interference characterization-based approaches, which have pushed datacenter’s utilization to more than 40%. However, as the rapid growth of AI applications, two trends seem to dominate the nature of datacenter: architecture heterogeneity and application framed, which brought new challenges to problem of performance uncertainty. Thus, this research proposes a “Pyrolysis-Characterization-Polymerization” approach to improve utilization of heterogeneous datacenter. First, we abstract an application as HeterLet-based execution flow graph through application pyrolysis; Second, we character each HeterLet’s performance uncertainty as a precise quantitative prediction model. Last, the abstract execution flow graph is mapped to “safe” co-locations by application polymerization. This work is expected to improve the utilization of heterogeneous datacenter significantly.

针对数据中心较低的资源利用率（平均6%~12%）问题，研究人员提出了一系列以混合负载干扰行为分析为核心的技术，将数据中心的CPU利用率提升到40%以上。但是随着人工智能应用的普及，数据中心进入异构融合和框架化应用的时代，异构平台上的性能不确定性及资源利用率问题开始凸显。本项目以此为出发点，研究以应用“裂解-表征-聚合”为核心的资源利用率提升方法。首先，通过应用“裂解”将框架化应用的行为抽象成由异构执行序列构成的执行流图；其次，通过应用表征，研究异构执行序列的性能不确定性刻画方法，构建精确量化模型；最后，通过应用“聚合”将裂解后的抽象执行流图重构为“安全”的聚合执行，达到提升资源利用率的最终目的。通过本项目的研究，预期可显著提升异构融合数据中心的资源利用率。

伴随着摩尔定律的终结，数据中心的异构化越来越显著，本项目立足于解决目前数据中心广泛应用的框架化应用的异构芯片资源利用率难题。.本项目开展了一系列的深入研究，取得了三方面的重要进展：1）一套异构芯片自动评测工具DNNTune，其核心理念在于将框架化的深度学习应用“裂解”成单个的基础算子，从而可以用配置文件驱动的方式自动的评测深度学习应用在多元异构芯片上的性能表现，并且可以在不同的优化目标自动将深度学习应用切分映射到异构芯片上；2）一套支持算子深聚合的异构芯片编译优化Fuselage，包含提升芯片层次并行资源使用率的深融合编译优化和提升片上资源使用率效率的芯片特定优化，通过Host和Kernel统一的全程序表示挖掘更加丰富的算子聚合机会，并且支持“All-or-Nothing”的片上资源优化理念；3）一套针对框架化大数据应用无缝透明使用异构内存的托管式语言运行时系统D-Panthera，其核心是一个异构内存感知的堆内存管理框架，通过对上层大数据应用的数据访问特征分析，精细管理数据对象在堆中的位置，并借助大数据框架原有的垃圾回收策略实现数据对象的迁移。.本项目的相关研究共发表论文8篇，包括CCF A类两篇，B类三篇，申请专利5项，达到了项目预定研究目标，培养硕士生6人，相关的技术已经应用在华为数通芯片的编译器当中。.