基于访问特征分析的流媒体存储系统节能方法研究

The high energy consumption has gradually been a serious challenge for streaming media storage systems. Although saving energy in general storage systems appears as a hot research topic in recent years, the energy conservation problem of streaming media storage systems needs further in-depth study. Based on the surveys and preliminary experiments, we have found that the keys of efficiently saving energy in streaming media environments lie in two factors: The first one is lowering the data migration cost of energy saving methods; the second is fully ulitilizing some potential information of streaming media user accessing. Therefore, this project aims to extract and analyze the user accessing characteristics of streaming media applications, which is highly related to energy conservation, on the basis of a huge number of collected streaming media user traces. Then based on establishing accurate energy saving model of streaming media storage systems, the dynamic energy-efficient data layout method with low data migration cost and the static energy-efficient data layout algorithm based on streaming media user accessing patterns will be proposed in the project. Finally, we will build a prototype system to test and verify the energy saving algorithms we proposed. In a word, this project has important significance, because it can provide theoretical and practical basis for saving energy in streaming media storage systems, boost the development of streaming media applications, and contribute a lot to environmental protection.

流媒体存储系统的高能耗问题逐渐成为制约其发展的一项重要挑战，虽然针对通用存储系统节能方法的研究已经成为研究热点，但这些方法很难适应流媒体应用的多种特征，流媒体存储系统的节能问题还有待于进一步深入研究。申请者在前期的调研和实验分析中发现，在流媒体环境中达到优异节能效果的关键，一是降低节能方法的数据迁移开销，二是充分利用流媒体用户访问规律的潜在信息。因此本项目拟基于大量流媒体用户访问记录，抽取和分析与节能密切相关的流媒体应用的用户访问特征，并建立准确的流媒体存储系统的能耗模型；然后在此基础上，提出低数据迁移开销的动态节能数据分布方法，以及基于流媒体用户访问规律的静态节能数据分布方法；并建立原型系统进行验证。总的来说，本项目能够为流媒体存储系统的节能减排提供理论与实验依据，促进流媒体应用的进一步发展，同时也有助于环境保护，具有重要的研究意义。

流媒体系统是互联网上一项重要应用，观看视频已经成为很多用户互联网生活中不可或缺的一部分。流媒体是数据密集型应用，所以流媒体存储系统是整个流媒体服务系统中最为重要的一个环节。面对大规模的流媒体数据，目前主流流媒体存储主要依靠容量大、成本低但功率较大的磁盘设备，高能耗问题已经成为制约流媒体存储系统发展的一项重要挑战。虽然针对通用存储系统节能算法研究已经取得一些成果，但是这些方法很难适应流媒体应用的多种特征。因此，经过本项目的工作，我们基于流媒体应用的用户访问特征，通过分析和推理，建立一套准确的流媒体存储系统节能模型，为设计节能算法提供了理论依据。在此基础上，我们提出了一种数据迁移开销非常低的显式磁盘冷却节能（Explicit Energy Saving Disk Cooling，简写为EESDC）算法，根据流媒体用户访问记录，动态地将磁盘分为节能磁盘组和工作磁盘组，并通过数据交换使前者的访问压力降低非常低的水平，而后者承担绝大多数用户请求，并进行负载均衡。因此EESDC只需要少量的数据交换，就能快速地形成有效的节能数据分布。为了验证我们所提出的节能算法的性能，我们设计和开发了一套支持节能模型的流媒体存储系统的仿真系统和一套实际的原型系统，基于这两者的实验证明，仿真系统的结果与原型系统非常接近，说明仿真系统具有较高的准确性，同时证明EESDC能够取得更加优秀的节能效果，节能比例达到34.21%。此外，由于在项目执行期间，更加节能的闪存设备发展非常迅速，因此我们也在项目中对基于闪存缓存的流媒体存储系统展开研究工作，一方面是在我们的仿真系统中加入对闪存和混合存储体系结构的支持，另一方面对节能闪存缓存的关键问题----闪存缓存的写入耐久性问题----展开了深入的研究，提出了一种基于拉模式的写高效缓存（Write-Efficient Caching，简写为WEC）算法，可以在保证同等命中率的前提下，将闪存写入量降低1~2个数量级，显著延长闪存设备的使用寿命。因此非常有助于推广闪存设备用作流媒体存储系统的磁盘缓存，一方面闪存设备自身的低功耗很低，另一方面可以进一步减少磁盘的访问压力来提高节能效果。总的来说，本项目所取得的研究成果非常有助于加速流媒体应用的发展，也对保护环境具有重要的积极意义。