云计算环境下数据感知的大数据管理优化策略研究

With data-intensive applications deployed in various types of cloud platforms, big data management presents a series of new requirements. How to achieve data-aware optimization goal becomes one of the key issues to be solved in the big data management process. In this project, we will plan to apply directed hypergraph structure optimization theory to create data requirement reduction model at first. Then, aiming at unstructured data management system we plan to present a novel data placement strategy by dynamic management of uncertain partition. Finally, we plan to use performance monitor counters to develop a novel virtual machine deployment with discriminative workload path planning. This project is expected to design an integrated set of data-aware optimization strategies for big data management, which can be applied to various service layers in cloud platforms, including an ability-aware data requirement model in resource virtualization platform, a context-aware data placement approach in data management system, and a workload-aware virtual machine deployment strategy in application management service. In addition, the data-aware framework is expected to be used in practical cloud-based systems and applications, so as to reduce various types of overhead generated by intermediate data and improve the efficiency and performance of big data system.

当前，大量数据密集型应用开始部署到各类云计算平台中，大数据管理呈现了一系列新的特征和需求，如何针对数据特征实现数据感知的大数据管理优化已成为亟待解决的关键问题之一。对此，本课题以大数据应用的数据需求为研究起点，提出“基于有向超图结构变换的数据约简模型”；随后，在数据管理层面向非结构化数据管理系统提出一种“基于不稳定分区动态管理的数据布局策略”；最后在应用管理层面向混合负载的大数据应用，利用不同类型性能计数器提出一个“基于负载区分路径规划的虚拟机部署策略”。本课题提出的“基于有向超图结构变换的数据约简模型”有望获得数据能力特征感知的数据需求，“基于不稳定分区动态管理的数据布局策略”有望实现数据上下文特征感知的数据布局；“基于负载区分路径规划的虚拟机部署策略”有望实现数据负载特征感知的虚拟机部署，以期降低中间数据开销、提高大数据应用的执行效率和性能。

以大数据应用的数据需求模型为研究起点，通过总结数据密集型应用在云计算环境中的数据感知需求，从数据描述层、数据管理层和应用管理层三个方面在云计算环境下提出了一套综合的大数据管理优化策略和方法。针对面向大数据应用的数据需求模型研究研究，提出了“数据密集型工作流的有向超图模型”、“数据约简的数据密集型工作流应用调度策略”。针对面向非结构化数据管理系统的数据布局策略研究，提出了“基于不稳定数据分区识别的非结构化数据管理系统重布局策略”和“基于虚拟数据代理的云模型数据布局策略”。针对面向混合负载的大数据应用的云部署策略研究，提出了“基于不同任务类型和资源负载状态的云任务错峰调度策略”，“基于改进onlinesvr流数据负载预测及资源弹性配置”。经过三年来的深入研究，本项目提出了一套完整的云计算环境大数据优化管理体系，较好地解决了云计算环境中细粒度和自适应的大数据优化管理的关键问题。.本项目在HPCC 2019、ISPA 2019、ICPADS 2018、WISE 2016等高水平国际会议和《Computers and Electrical Engineering》、《IEEE ACCESS》、《中南大学学报（自然科学版）》等重要期刊发表发表学术论文15篇，其中SCI检索2篇，EI检索11篇，授权发明专利1项，申请发明专利6项。