基于软硬件协同的数据中心SSD缓存系统关键技术研究

NAND flash based solid state drive (SSD) has larger capacity and lower price per GB compared to DRAM, while has better performance than hard disk. As such, SSD is gradually adopted in data centers as cache system. SSD cache in data center faces three challenges: i) SSD suffers from write amplification due to its inherent features, ii) SSD has unexpected performance and behaviors seen by the cache management software due to the existence of SSD FTL, and iii) data-center workloads exhibit various IO access patterns. This project mainly proposes three techniques to address the above issues: software-hardware co-designed data layout in SSD, software-hardware co-designed garbage collection, and SSD cache policy optimization based on cost-benefit model. By adopting the software-hardware co-designed principle, this project opens the functionalities of SSD FTL to SSD cache management. By doing so, the SSD cache management is able to fully utilize the rich information in software level to regular data layout and execute switch merge based GC. The SSD cache prototype is expected to avoid the write amplification issue, and increase cache hit ratio as well as SSD utilization. By applying the research results of this project, one can promote the widely adoption of SSD in current data centers.

基于Flash的固态硬盘（SSD）凭借其容量、价格和性能优势，正受到广泛关注，并逐渐作为缓存部署在数据中心。数据中心SSD缓存系统面临三方面挑战：第一，Flash写放大特性会加速SSD磨损；第二，SSD FTL封闭性导致上层软件对SSD性能表现可预测性降低，并且无法利用软件层更加丰富的信息进行优化；第三，数据中心使用虚拟机运行不同应用，导致SSD缓存需要处理多样化IO负载。本课题围绕这三方面问题开展高效SSD缓存系统的研究工作。本课题以软硬件协同作为基本研究方法，重点在软硬件协同的缓存数据布局，软硬件协同的垃圾回收和基于缓存收益与成本模型的缓存策略优化三方面进行研究突破。本课题实现的SSD缓存原型系统将FTL功能部分开放给缓存管理软件，实现软件决策，固件执行，充分利用缓存软件层信息，有效避免写放大影响，提升缓存命中率，提高SSD利用率，有助于推动SSD在数据中心高效使用和广泛部署。

本项目针对数据中心SSD缓存场景面临的三大挑战：SSD写放大、SSD FTL封闭性、数据中心多样化负载，重点开展三方面研究内容：（1）研究数据中心IO负载缓存模型与分类方法；（2）研究数据中心缓存准入与替换策略优化；（3）研究基于软硬件协同的SSD缓存设计方法。此外，本项目还针对数据中心分布式存储系统场景，研究对比SSD缓存和副本放置技术；针对新型非易失存储器件，探索研究旁路缓存和末级缓存LLC技术。.基于上述研究工作，本项目取得五方面的重要成果：.（1）面向数据中心负载特征，本项目提出一种基于缓存收益与成本的IO负载缓存特性分析模型和数据中心负载分类方法。.（2）本项目提出一种基于重加机制的缓存替换策略和自适应调整的缓存准入策略，并基于Linux dm-cache实现SSD缓存原型系统，与现有SSD缓存策略相比，平均减少23%的SSD写入量，最高减少53%的SSD写入量。.（3）本项目基于开放SSD的软硬件协同设计模式，提出面向缓存语义的数据布局方法、数据聚合策略和垃圾回收方法，并基于开放SSD硬件平台实现原型系统，在多应用运行场景下，可减小写放大至接近于1。.（4）面向数据中心分布式存储系统场景，提出并实现一种异构存储感知的副本放置方法，与SSD缓存技术形成互补机制。.（5）针对新型非易失存储器件，提出并实现一种旁路缓存键值系统的高效索引机制，同时提出并实现一种面向混合内存的LLC末级缓存划分技术。.本项目上述研究成果吸引了华为、阿里云等公司关注，以专利或合作项目形式进行应用落地。本项目在执行期间共发表论文6篇，其中SCI索引1篇，EI索引2篇，CCF A类和C类会议论文各1篇，B类期刊1篇，申请专利4项，培养2名博士生，1名硕士生，两人次获得国家奖学金，一人次获得中国科学院院长优秀奖。项目负责人于2018年获得中国科学院青年创新促进会人才项目资助。此外，项目负责人于2016年和2017年受邀在全国信息存储技术学术会议做青年学者报告，介绍项目工作，并于2017年和2018年在中国计算机大会上作为论坛主席组织两次技术论坛。