面向数据中心混合负载的数据存储结构及其转换技术研究

There are multiple types of applications run in a data center, including online services, big data analysis jobs, stream data processing jobs. Existing solutions use different data storage systems for different types of applications, which results in deployment of multiple data storage systems in a enterprise. However, enterprise's decision-making requires to preocess the data in different systems. To link different systems, the data has to be transformed, transmitted and assembled between different systems, which results in high total cost, long delay for data processing, operational complextiy and difficult to use. To address these issues, this proposal conducts research on the key technologies for a storage system which can simultaneously serve multiple types of applications. Our main research issues including: 1) optimization of the data storage structure for each type of workload by using hybrid memories consisting of NVM、DRAM and hard disks, and according to the charactoristics of each type of memory;2) automatic transformation from one data storage structure to another with minimum interference to normal workloads by reducing the resource usage duing the transformation; 3) automactic stage partioning of the data life cycle by using the charactoristics of the workloads in order to determine which data storage structure to use and when to perform the stage transformation. After we complete the research work of this proposal,we will provide feasible solutions to the storage system which can support multiple types of the data center applications.

当前数据中心所面临的一个棘手问题是：各种负载所产生的大数据集分别存储在不同存储系统之中,数据需要在这些系统之间进行变换、传输和重组，造成了高昂的系统维护成本,也给数据进行及时就地分析带来极大的困难。为解决这些问题，本课题研究高效支持多种负载的存储系统的关键技术，它支持多种数据存储结构，不同的数据存储结构服务于不同的负载，并且自动转换数据存储结构，以适应负载的变化。主要研究内容包括：（1）研究如何利用NVM器件的优势、并根据不同负载的特点和性能需求来优化几种数据存储结构，提高数据存取的性价比；（2）研究不同数据存储结构之间的自动转换方法，以控制转换消耗的系统资源、减少转换对正常负载的影响、提高转换的效率；（3）研究根据负载的特征来自动划分数据生命周期阶段的方法，从而确定数据的存储结构及其转换时机。通过本项目研究，为高效支持数据中心多种负载的存储系统提供切实可行的解决方案。

SSD和新型NVM为缓解数据中心的存取瓶颈带来了前所未有的机遇和挑战：1）对于混合内存系统（DRAM+NVM），如何设计高效的数据存储结构，以充分发挥两类内存介质各自的优势，并避免其劣势；2）对于基于MapReduce的大数据处理负载，如何利用SSD和NVM的速度快来加快数据处理，减少作业执行时间；3）对于面向在线服务负载的数据存储结构LSM-tree，如何充分利用SSD的速度优势。.本课题针对上述问题展开研究，并取得了以下成果：.1) 我们揭示了数据中心的典型大数据负载的内存访问特征：持续高带宽、时间局布性较差等；以及磁盘访问特征：磁盘带宽利用率低、请求的平均等待时间较长、数据存取时间比较集中。.2) 针对SSD上的LSM-tree结构，我们提出一种并行流水线化的合并方法PCP，将合并的带宽提高了77%，系统的吞吐率提高了62%。.3) 针对SSD上的LSM-tree结构，我们提出一种延迟合并技术，将写放大减少了50%左右，而且系统的吞吐率提高了89%左右。.4) 针对由DRAM与NVM构成的混合内存系统，我们提出一种感知异构内存的CPU cache划分方法HAP，使应用性能提高46.7%，同时能耗降低21.9%。.5) 针对混合内存系统（DRAM+NVM），我们提出一种软硬件相结合的数据放置策略2PP，使应用性能提高了12.1%，能效提高了18.4%。.6) 我们设计并实现了一个同时处理离线分析和实时分析的统一数据处理平台的软件原型Matiff-2。.7) 针对混合存储系统（SSD+HDD），我们提出了一种感知异构存储的任务调度算法H-Scheduler，使得作业执行时间最多可减少73.6%。.8) 针对大数据处理中的Shuffle，我们提出了一种利用NVM来存储Shuffle数据的方法NV-Shuffle，使应用执行时间节省了10% ~ 40%。.9) 针对混合内存系统（DRAM+NVM），我们实现了基于混合索引的键值存储系统HiKV，使延迟可降低86.5%，吞吐率可提高6.9 倍。..本课题在高水平国际会议和国内外核心期刊上发表了15篇学术论文，其中，SCI期刊论文4篇，CCF B类学术期刊论文3篇；CCF A类、B类和C类学术会议论文分别为1篇、5篇和1篇。产出了11份发明专利申请，培养了4名博士生和1名硕士生完成学位论文，并实现了两个软件系统原型。