基于三维堆叠NVM-DRAM混合介质的内存大数据处理体系结构关键技术研究

Nearly half of big data applications need real-time processing. However, traditional disk-based big data platform can not satisfy this requirement due to the inefficient I/O operations. In-memory computing is deemed to be a powerful solution to address this issue. However, in-memory computing makes computer architecture face two serious challenges: (1) The density, power consumption, and scalability of currently used DRAM make it can not keep up with the increment of data amount. (2) Current processors are not designed for big data processing, making it not be fully utilized on the one hand and the performance of big data processing is not high on the other hand. This project therefore proposes an in-memory big data processing architecture leveraging 3D mix NVM-DRAM memory. It focuses on the research on memory access model, processor architecture, performance and energy model, and run-time system. We hope the above challenges can be resolved by the study of this project.

大数据应用中有近一半的任务需要实时处理，但基于磁盘的处理系统由于I/O性能低下而难以满足要求。内存计算模式为解决这个问题带来了新的希望。但内存计算对计算机系统结构也构成了新的挑战。主要体现在：（1）当前普遍采用的DRAM内存由于其在存储密度、能耗、和可扩展性等方面的限制使其难以跟上数据增长的步伐；(2) 现代处理器体系结构设计没有考虑内存大数据程序的特点，导致处理器资源利用率不高且性能也不高的局面。为此，本课题根据对已有大数据处理程序在体系结构层次特征的分析，提出基于三维堆叠NVM-DRAM混合介质的新型体系结构。主要研究内容为：（1）三维堆叠NVM-DRAM混合介质环境下访存行为理论模型；（2）处理器总体架构；（3）能效模型；（4）运行时系统。课题期望通过对这四个内容的研究，解决内存计算在体系结构层次所面临的挑战。

本项目题为“基于三维堆叠NVM-DRAM混合介质的内存大数据处理体系结构关键技术研究”，旨在研究面向新型应用-内存大数据处理的新型体系结构。为了研究适合于新型应用的新型体系结构，首先需要研究如何理解新型的应用程序在微体系结构层次的特征。然后根据所理解的特征研究如何高效设计出适合这些特征的体系结构。最后，是在所设计的体系结构上进一步进行性能优化。针对如何理解内存大数据程序在微体系结构层次的特征问题，本项目提出了CPU性能大数据的概念，并量化了CPU性能事件对性能（IPC）的重要性和性能事件对的交互强度。通过该方法我们发现了内存大数据处理程序和其他程序不同的五个特征。例如，内存大数据处理程序在微体系结构层次存在“一三远重要”定律，即内存大数据处理程序的微体系结构性能事件总有一到三个比其他的事件远远重要。这一工作（CounterMiner: Mining Big Performance Data from Hardware Counters）在体系结构领域的CCF A类会议MICRO2018上发表，并已经在华为公司的多个部门如麒麟海思、鲲鹏海思等得到应用。针对如何高效设计出适合内存大数据处理的优化体系结构这一问题，本项目提出了基于机器学习的体系结构设计参数重要性量化分析方法，利用这一方法可以较快地设计出优化的体系结构。这一工作（QIG: Quantifying the Importance and Interaction of GPGPU Architecture Parameters）在CCF A类的期刊IEEE TCAD上发表。针对给定体系结构上的内存大数据处理程序性能优化问题，我们提出了数据感知的高维配置优化方法，将内存大数据处理程序的性能提升高达89倍。该工作（Datasize-Aware High Dimensional Configurations Auto-Tuning of In-Memory Cluster Computing）发表在体系结构领域的CCF A类会议ASPLOS2018上发表。鉴于该工作具有很高的实用价值，发表之后一年之内引起了华为公司的注意，并于2019年8月与我院成立了华为-中国科学院深圳先进技术研究院“云智能创新”联合实验室。.总结起来，本项目一共发表了13篇论文，其中体系结构领域的CCF A类会议论文4篇（ISCA、ASPLOS、M