多模式计算大数据系统资源的高效能优化方法研究

The current rough resource management and blind computing performance pursuit have been detrimental to the development of big data system. It is of great significance to study high energy-efficiency computing for this system. How to meet the dynamic computing requirements with the least resources under the system Qos constraints is one of the most important ways to achieve high energy-efficiency computing..This project is based on the development trend of big data systems supporting multiple computing models. Firstly, the characteristics, constraints and commonalities of big data applications, resource requests and resource management modes of the type system are analyzed, and a resource dynamic optimization model is established. Then, the dynamic resource providing optimization under the background of complex resource request is studied, and a deep reinforcement learning based hyper-heuristic prediction method is proposed to meet the high-precision requirement of resource request estimation. Optimize the number of active servers for the system based on these studies. Finally, this project studies the fair and efficient allocation of multi-resource under the condition of certain resource providing and practical application constraints. We propose a parallel collaborative optimization method that optimizes performance and rate to reduce server fragmentation resources. A parallel collaborative optimization method which can balance the optimization performance and rate of the algorithm is proposed to reduce server fragmentation resources.. The project takes the high energy-efficiency computing of multi-mode big data system as the engineering application background, and studies the key scientific problems of resource dynamic providing and allocation optimization. The project plans to propose efficient and practical technical methods to support the sustainable development of big data.

当前大数据系统粗犷资源管理与一味追求计算性能的发展方式已遭遇瓶颈，研究其高效能计算有着重要的意义。如何在系统Qos约束下，以最少的资源满足动态的计算需求是实现系统高效能计算最主要的途径之一。.本课题从大数据系统支持多计算模式发展趋势出发。首先，对该类型系统的大数据应用、资源请求、资源管理模式等特征、约束、共性进行分析，建立资源动态优化模型；然后，研究复杂资源请求背景下的资源动态供给优化，提出深度强化超启发预测方法，以满足资源请求预估的高精度需求，优化系统的活跃服务器数量；最后，在一定资源供给与实际约束条件下，研究多维资源高效公平分配优化，提出兼顾优化性能与速率的并行协同优化方法，以减少服务器碎片化资源。.课题以实际工程应用为背景，研究支持多计算模式大数据系统高效能计算的资源动态供给与分配优化的关键科学问题，提出高效、实际可行的技术方法，为大数据可持续发展提供助力。

当前大数据系统粗犷资源管理与一味追求计算性能的发展方式，造成了巨大的能耗开销与资源浪费。如何在系统Qos约束下，以最少的资源满足动态的计算需求是实现系统高效能计算最主要的途径之一。.项目从大数据系统支持多计算模式发展趋势出发。我们的研究内容包括：1）研究多模式计算系统的大数据应用、资源请求、资源管理模式等的特征、约束与共性，建立资源动态优化模型；2）研究复杂资源请求背景下的资源动态供给优化方法，以满足资源请求预估的高精度需求，优化系统的活跃服务器数量；3）研究在一定资源供给与实际约束条件下，多维资源高效公平分配优化方法，以减少服务器碎片化资源。.依托项目支持，项目组取得了以下研究成果：1）在问题模型方面，提出了一种顾效率优化公平约束的多维资源优化模型、一种兼顾通信和计算资源的联合优化模型、一种面向动态服务器供给的系统收益优化模型；2）在资源动态供给优化方法方面，提出了一种在线超启发式预测技术、一种基于多样性感知的集成预测算法；3）在资源高效分配优化方法方面，提出了大作业服务器期望剩余资源最少优先的启发式方法、一种基于深度强化学习的资源优化方法、一种分层次的资源优化方法。这些方法从不同角度针对不同类型的多模式计算系统提高了其计算效能，将为大数据可持续发展提供助力。