基于混合存储介质的云存储环境的元数据管理和数据布局研究

According to the demand of solid-state storage media for cloud storage, and the respective advantages of solid-state storage media and disk storage media, building high-performance, large capacity, multi-media, multi-level cloud storage with hybrid storage media is one of the major trends of the storage system. Existing metadata management and data placement is oriented to the characteristics of traditional disk-based storage systems, without considering the characteristics of solid-state storage. Thus, the existing approaches can not give full play to the advantages of heterogeneous storage resources in the cloud storage environment with hybrid storage media. Based on cloud storage environment with hybrid storage media, this project focuses on the key technologies of metadata management and data placement in different storage media: scalable architecture of cloud storage environment with hybrid storage media, effective and redundant metadata allocation algorithm, dynamic and adaptive metadata load balancing mechanism, dynamic and adaptive data placement with behavior of data access, fair and adaptive replica placement with the characteristics of hybrid storage media. This goal of the project is to improve storage I/O performance, adapt to the changes of storage devices, and improve the availability and reliability of data storage. The project is also exepcted to provide both theoretical and technical supports for data management of cloud storage environment with hybrid storage media.

基于云存储对固态存储介质的需求以及固态存储介质和磁盘存储介质各自的优 势，构建高效能、大容量、多介质、多层次的基于混合存储介质的云存储是存储系统的主要 发展趋势之一。现有的元数据管理和数据布局是面向基于磁盘的传统存储系统，没有考虑固 态存储的特性，在基于混合存储介质的云存储环境中无法充分发挥异质存储资源的优势。 本项目面向混合存储介质的云存储环境，研究和突破不同存储介质和层次结构的元数据 管理和数据布局关键技术：研究面向混合存储介质的云存储环境的可扩展的体系结构，以此 结构为基础，探索有效的元数据冗余分配算法和动态、自适应的元数据负载均衡机制，突破 基于数据访问行为的动态、自适应的数据布局和面向混合存储介质特性的公平、自适应的副 本布局等技术，提高存储的I/O 性能，自适应存储规模的变化，提高数据存储的可用性和可 靠性，为基于混合存储介质的云存储环境的数据管理提供理论方法和技术支撑。

存储系统的发展趋势之一是基于混合存储介质的云存储。现有的元数据管理和数据布局是面向基于磁盘的传统存储系统，没有考虑固态存储的特性，在基于混合存储介质的云存储环境中无法充分发挥异质存储资源的优势。本项目面向混合存储介质的云存储环境，提出了分层的面向混合存储介质的云存储环境的可扩展的体系结构，实现基于固态磁盘阵列、普通磁盘阵列、SSD和HDD的层次式存储，提高访问带宽，降低访问延迟，缩小内存与外部存储设备之间的性能，支持可靠存储。根据固态存储和磁盘存储的特性，提出分层、异构的元数据服务器集群技术，将元数据的存储介质分为固态存储和磁盘存储两层模式，元数据存储在两层介质上，元数据服务器通过网络与存储介质相连，响应用户的元数据操作。综合考虑了固态存储和磁盘存储的特性以及元数据的多个副本，首先根据元数据的访问热度和设备的相对权重将热度高的元数据集合存储在固态存储设备上，热度低的元数据集合存储在磁盘存储设备上。进一步，我们提出了基于访问热度的元数据冗余分配算法，首次以副本的形式体现元数据的访问热度，为不同热度的元数据分配不同的副本，按照设备相对权重在固态存储和磁盘存储设备集合内部进行进一步的元数据分配，在各类设备之间公平地分配元数据，具有很好的容错特性，可以在常数时间内定位元数据。基于如上所述的分层、异构的元数据服务器集群技术以及分层的元数据分配算法，提出动态、自适应的元数据负载均衡机制，充分利用共享存储的元数据服务器集群的优势，动态调整元数据的负载在元数据服务器上的分布，自适应元数据服务器的动态增加或者删除，有效地避免元数据的访问瓶颈，提高整个I/O访问性能。提出了基于混合存储介质特性的公平、自适应的副本布局机制，同时兼顾磁盘的性能以及固态硬盘的特点，公平地在异构的混合存储介质上分布副本数据，获得较大的I/O 并行，同时自适应异构存储节点规模的变化，迁移最少的数据量来重新公平地分布副本数据。