面向应用特征的分布式文件系统性能及建模研究

Distributed file system can effectively solve the problems of massive data storage and I/O bottleneck and its performance directly affects the executive efficiency of the entire distributed / parallel computing environment. Because the potential impact on the system is not clearly understood, how to evaluate and modeling the performance of distributed file system becomes the potential challenge and hotspot. This project will in-depth study application workload characteristics and system performance factors, and put forward the application feature oriented performance parameter analysis method of distributed file system; Based on the quantitative composite application I/O characteristic and associated workload characteristics, we establish a direct performance prediction model for composite application characteristics; This project will fully mine and utilize the differences and correlation between different performance factors, build a performance prediction model based on correlation characteristics; By studying the data distribution and prefetching strategies, we propose a response time aware adaptive hybrid prediction strategy. This study can play a active guiding role on the design, tuning and evaluation of distributed file system. Research results can provide a new technical support for high-speed mass data storage and distributed storage system optimization, has a good application prospect.

分布式文件系统能有效解决分布计算系统的海量数据存储和I/O瓶颈问题，它的性能直接影响着整个分布式/并行计算环境的执行效率。由于影响系统性能的潜在因素错综复杂，所以分布文件系统的性能和建模技术一直是重点和难点。本项目通过深入研究应用负载特征和系统性能因素，提出面向应用特征的分布式文件系统性能参数分析方法；基于量化复合应用I/O特征和负载关联特征，拟建立面向复合应用特征的直接性能预测模型；通过挖掘并利用不同性能因素间的差异性和相关性，拟构建基于相关性的性能预测模型；通过研究数据分布规律和数据预取策略，拟建立响应时间感知的自适应混合预测策略。该研究对分布式文件系统的设计，调优和评估起到积级的指导作用。研究成果可为海量数据高速存储和分布式存储系统优化提供新的技术支持，具有良好的应用前景。

分布式文件系统能有效解决分布计算系统的海量数据存储和I/O瓶颈问题，它的性能直接影响着整个分布式/并行计算环境的执行效率。由于影响系统性能的潜在因素错综复杂，所以分布文件系统的性能和建模技术一直是重点和难点。本项目通过深入研究应用负载特征和系统性能因素，提出面向应用特征的分布式文件系统性能参数分析方法；基于量化复合应用I/O特征和负载关联特征，拟建立面向复合应用特征的直接性能预测模型；通过挖掘并利用不同性能因素间的差异性和相关性，拟构建基于相关性的性能预测模型；通过研究数据分布规律和数据预取策略，拟建立响应时间感知的自适应混合预测策略。该研究对分布式文件系统的设计，调优和评估起到积级的指导作用。研究成果可为海量数据高速存储和分布式存储系统优化提供新的技术支持，具有良好的应用前景。