连续数据存储系统节能关键技术研究

The applications such as video surveillance, continuous data protection, backup, archiving generate huge amounts of data, and require RAID(redundant array of independent disks) to construct storage systems for storing the data and achieve fault tolerance for data protection. Such systems has typical continuous data access pattern, rarely relies on random I/O performance, so their load distribution can be adjusted, to reduce energy consumption by scheduling some disk drives to standby state. The project will research the energy saving technologies for continuous data storage systems, propose a dynamic mapping data layout and a load-adaptive scheduling algorithm for energy-saving, to concentrate the I/O load to a part of disks and schedule the other disks to standby state for saving energy; design a disk scheduling and data prefetching algorithm, cache management algorithm and RAID-6 array code for continuous load, optimize "small-write" performance, reduce disk head movement, use less disks to meet the load requirements by utlizing their characteristics of high read/write throughput. The energy consumption of continuous data storage systems can be dramatically reduced, in the meantime, the performance and reliability requirements are meeted, and the implementation of national strategies for energy conservation and emission reduction is promoted.

视频监控、持续数据保护、备份、归档等应用产生海量数据，需要冗余磁盘阵列(RAID)作为存储系统来实现数据的存储和容错保护。这类系统的负载以连续数据访问为主，对随机I/O性能要求较低，通过调节其数据分布，将部分磁盘调度到待机状态，能够降低存储系统的能耗。本项目针对连续数据存储系统进行节能研究，提出一种动态映射数据布局方式及负载自适应的节能调度算法，将I/O负载集中在部分磁盘上，将其它磁盘调度到待机状态，降低磁盘的能耗；研究适于连续数据访问的数据预取算法、磁盘调度算法、缓存管理算法和RAID-6阵列码，优化"小写"数据写入性能，减少磁头移动次数，发挥磁盘连续读写吞吐率高的特点，使得较少数量的磁盘处于运行状态即能满足负载要求。本项目在满足对存储系统的性能及数据可靠性要求的同时，能显著降低连续数据存储系统的能耗，促进国家节能减排战略目标的实施。

视频监控、备份、归档等应用产生海量数据，需要冗余磁盘阵列作为存储系统来实现数据存储和容错保护。在指数增长的全球大数据中，约有65%是监控视频，这导致存储能耗急剧增加，需要对该类存储系统进行节能研究。. 本项目面向视频监控、备份、归档等应用，研究了以局部并行数据布局为核心的节能存储技术，主要内容如下：. ① 获得了上述存储应用的存储特性和负载特征，为该类存储系统的节能研究提供了重要依据；. ② 提出一种高效能盘阵——Ripple-RAID，改进了局部并行数据布局，通过运用异地更新、基于流水技术渐进生成校验、分段数据恢复等方法，既保持了局部并行的节能性，又解决了局部并行带来的小写问题，显著提高了节能效率；. ③ 提出一种动态局部并行数据布局DPPDL，根据波动负载的写性能需求，动态配置具有合适并行度的存储空间，在继承局部并行节能性的同时，增强了适应波动负载的能力，具有更高的节能效率；. ④ 针对上述存储应用中的少量随机读写操作，提出一种基于双重校验的局部并行数据布局——EPS-RAID，通过双重校验机制和辅助SSD的方式，优化了待机磁盘上的随机I/O请求，有效降低了存储能耗；. ⑤ 针对备份、归档应用特殊的存储特性，提出一种基于NILFS2文件系统的改进型S-RAID——LS-RAID，优化了局部并行的写性能，提高了存储系统的节能效率；. ⑥ 提出一种面向局部并行数据布局的磁盘节能调度算法，通过对I/O请求进行聚类分析，获得I/O请求在地址空间内的分布区及分布区的动态特性，并结合局部并行数据布局对磁盘进行节能调度；. 本项目提出相关节能存储方法，在满足存储性能及数据可靠性要求的条件下，能够显著降低存储能耗。在包含60至300路高清摄像机的仿真视频监控实验中，DPPDL分别比典型存储节能方法Hibernator、MAID、eRAID5和PARAID节能31％、36％、56％和59％。. 本项目提出相关节能存储方法，极大丰富了存储技术的理论与方法，有力推动了存储系统节能研究的向前发展；为利用太阳能、风能等中小功率的清洁能源，实现真正的绿色数据存储奠定了基础。