基于统计学习的云计算系统故障检测与诊断方法研究

Cloud computing technologies are developing rapidly, and have been well applied in various fields. Cloud computing systems are prone to faults due to the large system scale, dynamic deployment environment and complex component interactions. Therefore, fault detection and diagnosis technologies have become the key to assuring the reliability of cloud services.. In existing studies, monitoring methods setting monitoring strategies manually cannot adapt to kinds of cloud applications; static fault detection models are not suitable for the dynamic deployment environment for cloud applications; problem determination in fine granularity is difficult due to complex interactions between components. To address these issues, this project uses statistical learning methods to study the system monitoring, fault detection and problem location for cloud systems. Studies involve fault prediction based dynamic self-adaptive monitoring technologies, context-aware fault detection methods, and propagation-aware problem location methods. Furthermore, this project will implement a prototype system, and use our real cloud computing platform and cloud applications to validate the proposed theories, methods and technologies. The project aims at timely detecting faults and accurately locating the root causes of problems to give the theoretical basis and technical support for building cloud systems with high reliability.

云计算技术飞速发展，已广泛应用于诸多领域。巨大的系统规模、动态的部署环境、复杂的组件交互使得云计算系统更易于出现故障。因此，云计算系统的故障检测与诊断技术成为保障云服务可靠性的关键之一。. 已有研究存在诸多不足，包括：系统监测需要根据应用特点人工制定监控策略，无法适应多样化云应用的需要；静态的故障检测模型，难以应对云应用运行环境的动态变化；复杂的组件交互使得组件相互影响，难以细粒度准确定位问题原因。针对这些问题，本项目以统计学习为主要研究手段，研究云计算系统的动态监测、故障检测与诊断方法。研究内容包括：基于故障预测的动态自适应监测技术、基于环境感知的故障检测方法以及面向故障传播的问题定位方法。进而，实现原型系统，结合实际云计算平台与云应用对提出的理论、方法和技术进行有效性验证。旨在及时检测到系统故障，并准确定位问题原因，为实现高可靠的云计算系统提供理论依据和技术支撑。

本项目以机器学习为主要研究手段，研究云计算系统的动态监测、故障检测与故障诊断方法。.在运行监测方面，大量监测数据的搜集、传输、存储和分析对系统造成巨大开销，本项目提出了一种基于异常程度评估的自适应监测方法。首先，发现度量间的相关性，建立度量关联图以选择关键度量；而后，使用主成分分析得到监测数据的主特征向量以刻画运行状态，进而基于余弦相似度评估异常程度；最后，建立可靠性模型以预测系统出现故障的时间，基于此动态调整监测周期。该方法能够适应云环境的负载动态变化，准确评估系统异常程度，自动调整监测频率以提高系统在异常状况下故障检测的准确性与及时性，同时降低在正常运行过程中的监测开销。.在故障检测方面，针对应用的复杂性和负载的动态性造成人工构建系统模型并估计参数困难的问题，本项目提出一种基于关联分析的故障检测方法。首先，自动建立工作负载与性能之间的关联性以建模运行状态；而后，检测关联系数稳定性以发现系统异常；最后，使用特征选取量化各度量的异常程度从而定位异常度量。该方法同时考虑到多种性能指标及其关联性，自动构建适应负载变化的系统状态模型。.在故障诊断方面，针对当前方法难以细粒度定位问题原因的问题, 本项目提出一种基于执行轨迹监测的故障诊断方法。首先,使用动态插桩监测服务组件的请求处理流,刻画请求处理的执行轨迹;然后,面向执行轨迹故障,使用树编辑距离评估请求处理的异常程度,通过对比执行轨迹差异来定位引发故障的方法调用;最后,面向性能异常,使用主成分分析抽取引起系统性能异常波动的关键服务调用。该方法可以准确刻画请求处理的执行轨迹,自动化细粒度准确定位系统故障以及性能异常原因。.实现原型系统，结合实际云应用对提出的理论、方法和技术进行实验评价，表明所提出方法能够以较低监测开销，及时检测系统故障，细粒度准确定位问题组件，从而实现提高云计算系统性能、可靠性和可用性的目标。