分布式闪存文件系统的高效构建技术研究

Distributed file systems play an important role in high performance computing, big data analytics and cloud computing. In recent years, the advent of flash memory bring new opportunities for constructing high-performance distributed file systems. However, due to heavy software management, existing distributed file systems cannot effectively exploit the performance benefits of flash memory, and even hurts its lifetime. To address this issue, this project aims to make distributed file system more efficient based on flash memory, including the following techniques: (1) Optimized client cache to flash characteristics, to improve cache efficiency and flash lifetime; (2) Key-value friendly metadata organization and distribution, to achieve high performance and scalability; (3) Metadata management on persistent memory, to accelerate metadata operations; and (4) New distributed storage protocols with RDMA, to improve data exchange efficiency. Research results of this project will provide both theoretical and technical explorations to the next generation distributed file systems over flash memory or emerging persistent memory, and further meet the demanding requirements of high performance computing, big data analytics and cloud computing.

分布式文件系统为当前高性能计算、大数据分析和云计算平台提供者基础的存储支撑。近年来，闪存的快速发展为构建高速的分布式文件系统带来了新的机遇。然而，传统的分布式文件系统厚重的软件管理难以有效发挥闪存的性能优势，且对闪存寿命考虑较少，难以匹配闪存高速的硬件性能。针对该问题，本课题拟研究基于闪存的分布式文件系统的高效构建技术，具体包括：（1）结合闪存特性优化缓存数据组织与管理方法，提升缓存效率与闪存寿命；（2）键值友好的松耦合元数据数据组织与分布方法，提高元数据的访问性能与扩展性；（3）引入内存级闪存等持久性内存，研究基于持久内存的元数据管理方法，加速元数据访问；（4）基于RDMA的访问模式重建高效的分布式存储协议，提高交互效率。本课题的研究将为闪存分布式文件系统的高效运行提供理论和技术探索，为提升高性能计算、大数据分析和云计算平台的数据存储能力提供技术支持。

闪存在存储性能、能耗与体积等方面体现了极大的优势，近年来在数据中心、高性能计算、人工智能平台等多个场景中得到了越来越广泛的应用。然而，软件系统的设计在闪存等硬件特性的利用上仍存在较多不足，闪存等硬件性能未能被有效利用。.为此，本项目研究分布式闪存文件系统的关键技术，主要研究成果如下：.（1）从面向闪存特性的数据组织与管理方法方面，提出了面向闪存的旁路保序I/O栈设计技术和闪存文件系统多核可扩展设计技术，并设计了面向Open-Channel SSD的文件与对象存储系统，充分发挥闪存效率；.（2）从文件系统元数据组织与分布方法方面，提出了松耦合的元数据组织与分布技术，并基于SSD双接口设计了文件系统，有效提升了元数据性能；.（3）从持久性内存存储管理方法方面，提出了内核态与用户态协同的文件系统设计技术、面向持久性内存与RDMA的远程数据访问技术，并针对推荐系统优化了内存系统，有效利用了持久性内存的性能。.（4）从基于RDMA的分布式存储协议方面，提出了可靠可扩展的RDMA远程过程调用技术，并基于可编程交换机的分布式缓存一致性协议，提高分布式数据交互性能。.本项目共发表学术论文30篇，其中在FAST、OSDI、USENIX ATC、ASPLOS、SC等CCF A类会议上发表论文15篇，在CCF A类期刊上发表论文7篇；申请国家发明专利8项；共培养博士生4人，硕士生2人，其中一人获得中国计算机学会优秀博士学位论文奖、ACM SIGOPS China优秀博士学位论文奖。.本项目在分布式存储系统结合闪存、NVM以及RDMA新硬件方面取得了研究成果，部分成果在华为、阿里、快手等公司进行了合作验证，效果明显，这些成果将为新一代分布式闪存存储系统的构建提供理论基础与方法参考。