分布式存储系统中数据再生的磁盘读写开销优化研究

In distributed storage systems, storage nodes fail frequently because of disk /link failures. In order to preserve data's reliability and availability, we have to regenerate the lost data with low resource consumption as soon as possible. Regenerating codes achieve the minimum bandwidth consumption at the cost of extra disk I/O overhead. This research aims to study the problem of minimizing disk I/O overhead in the regenerating process, which includes: 1) the minimum disk I/O to exactly repair the lost data in distributed storage codes with high storage efficiency, such as RAID-6; 2) to find out if the disk I/O can be reduced with hybrid repair; 3) to study the relationship between the disk I/O in updating and that in regenerating. We hope to understand the factors that affect the disk I/O overhead, and to design a new class of distributed storage codes that can be easily implemented, with the property of high storage efficiency and low disk I/O in regenerating.

在分布式存储系统中，由于磁盘或网络故障造成的存储节点失效事件频发，为了保证数据的可靠性和可用性，系统需要以较小的资源开销快速再生出失效数据。再生码虽然可以减少再生过程中的带宽开销，但是它却以增加数据再生过程中从磁盘读取的数据量为代价，即磁盘I/O开销比较大。本项目主要研究再生过程中磁盘I/O开销的优化问题。主要研究内容包括：1)以RAID-6为代表的高存储效率场景下进行精确数据修复的最小磁盘I/O开销；2)探讨混合式修复策略是否可以减小再生过程中的磁盘I/O开销；3)研究数据更新操作的计算复杂度与再生操作的磁盘I/O开销的相互影响。通过研究，了解影响磁盘I/O开销的因素，并设计一类实用的、具有较小磁盘I/O开销和高存储效率的分布式存储编码。

在分布式存储系统中，由于磁盘或网络故障造成的存储节点失效事件频发，为了保证数据的可靠性和可用性，系统需要以较小的资源开销快速再生出失效数据。再生码虽然可以减少再生过程中的带宽开销，但是它却以增加数据再生过程中从磁盘读取的数据量为代价，即磁盘I/O开销比较大。本项目主要研究纠删码数据修复过程中磁盘I/O开销的优化问题。主要研究成果包括：1）纠删码数据修复磁盘读写开销下界；2）以RAID6为代表的高存储效率场景下进行精确数据修复的最小磁盘I/O开销优化；3）基于带宽异构的再生码数据修复优化。项目明确指出，在(n = k+2,k,d = n−1)参数设置下，纠删码数据修复磁盘读写开销的下界，并且明确指出最优修复策略的形式，可以更好的指导研究者设计出最优修复纠删码。另外，项目明确指出，在当 k ≥ 3,β < d − k + 1 参数设置下，不存在符合最优修复的精确 MSR 再生码，避免了研究人员在设计纠删码时走弯路。本项目还从带宽异构性角度优化纠删码数据修复过程，分别给出了星型拓扑下带宽异构的最优修复策略的具体表示形式和树形拓扑下带宽异构的最优修复的必要条件，使得纠删码的数据修复更适合实际分布式存储应用场景，为今后纠删码应用到实际分布式系统提供了理论依据。