基于Sketch与统计推断的高性能与高可用网络测量框架研究

Network measurement is indispensable for modern network management in clouds and data centers. Network measurement is often challenged to fulfill stringent resource requirements in the face of massive network traffic and large-scale deployment. Approximate measurement trades accuracy for resource saving. However, existing approximate measurement is not readily deployable yet because it demands intensive manual efforts to configure the right resource-accuracy trade-offs in real deployment. Such user burdens are caused by how existing approximate measurement approaches inherently deal with resource conflicts when tracking massive network traffic with limited resources. In particular, they tightly couple resource configurations with accuracy parameters, such that sufficient resources are provisioned to bound the measurement errors due to resource conflicts. In this proposal, we develop a novel sketch-based measurement framework that addresses resource conflicts in approximate measurement through a fundamentally novel methodology. Its idea is to characterize the inherent statistical properties of resource conflicts in sketches rather than pursue a perfect resource configuration to eliminate resource conflicts. Based on the properties, we propose an automatic algorithm that relieving the user burdens. We prototype our framework on OpenVSwitch and P4, and evaluate via testbest experiments and large-scale simulation with real-world traces.

网络测量对于云计算与数据中心的网络管理是一个不可缺失的技术。面对海量的网络流量与巨大的部署规模，网络测量需要解决严格的资源限制带来的挑战。近似测量技术通过牺牲少量精度来减少资源消耗。但是，现有的近似测量技术在实际部署时需要大量的人力来配置合适的资源-精度选择，造成了使用上的障碍。我们发现这些使用障碍在于现有近似计算将资源使用与精度参数紧密耦合，以期望分配足够的资源来消除资源冲突并最终保障精度。在这个课题中，我们将研究一种全新的基于sketch的测量框架。有别于现有近似测量技术，该框架采用了一种全新的方法来处理近似测量引起的资源冲突。其核心思想是对sketch资源冲突的内在统计性质进行建模，而不是追求一种完美的资源配置方案。基于这些统计性质，我们设计了一个自动化的方法来减少所需要的用户干预。我们将在OpenVSwtich与P4上实现我们的原型系统，并用真实数据集进行测试床与模拟器验证。

随着现代通信网络的不断演进，网络测量技术在网络管理中的重要性日益凸显。网络调度、网络性能诊断、网络异常检测等一系列高频任务，均依赖于网络测量技术提供的网络流量信息作为决策依据。然而，随着网络用户数量的增加、网络流量的增长、以及网络自身架构的日趋复杂，网络测量仍然面临着三方面的挑战：（1）测量算法面向特定任务，无法提供全面的测量精度保障；（2）单点架构受资源约束，缺乏统一的轻量级系统架构支持；（3）配置参数复杂，在实际部署中缺乏易用性与实时响应能力。本项目从测量算法理论、测量系统架构、测量应用优化三方面解决以上挑战。在测量算法理论方面，本项目研究测量算法理论复杂度下界与零误差测量理论：基于sketch技术与压缩感知理论，提出新型的网络测量理论框架，并基于此设计高精度低开销的sketch测量算法。在测量系统架构方面，本项目基于分布式系统思想重构网络测量架构设计：将网络测量分解为基本测量原语并分别进行分布式实现，同时设计高效同步技术保障分布式框架正常运作。在测量应用优化方面，本项目设计自动化优化技术提升测量效率，减轻部署负担，包括多测量任务协同部署与面向意图的测量表达与优化。