面向复杂大数据应用的数据动态协同分布与均衡控制关键技术研究

Efficient Distributed data management is an important foundation for the success of big data applications, dynamic collaborative data distribution and balance control has become one of the most critical technology. Complex big data applications will bring more complexity and difficulties to the problem of dynamic collaborative data distribution and balance control in cloud. This project focus on the problem of dynamic collaborative data distribution and balance control in shared nothing NoSQL data system for some complexities of complex big data applications, including: (1)theory framework for dynamic collaborative data distribution and balance control; (2) multi-granularity heterogeneous dynamic collaborative data grouping and placement model based on data association affinity;(3) multi-granularity,mixture and high dynamic workload features and correlation research;(4)hierarchy data nodes performance model；（5）real-time evaluation and online model update;(6) performance isolation based on soft configuration. The study covers the theory and method, technology and prototype system. The completion of the project will provide a new theory and method for achieving resilient data management of complex big data applications,with great theoretical and application value.

数据动态协同分布与均衡控制问题是分布式数据管理的关键技术。复杂大数据应用的负载高动态混杂性、数据放置关联性、性能需求多样性、资源动态变化性和管控多目标性等复杂性特征，放大了实现敏捷、弹性、多样化高性能和协同关联数据分布和均衡控制的技术难度。本项目面向复杂大数据应用呈现出的复杂特征，针对共享存储模式下NoSQL数据系统的数据动态协同分布与均衡控制问题进行系统性研究，主要研究内容包括：（1）数据动态协同分布和均衡控制理论框架；（2）基于关联亲和度的多粒度异构多态大数据动态协同分组与放置模型；（3）多粒度、高动态、混杂性负载特征及相关性研究；（4）层次化的数据存储节点性能模型；（5）模型的实时检测评价与在线更新优化方法；（6）基于软配置的性能隔离方法。研究范围涉及理论与方法、技术和原型系统。项目的完成将为复杂大数据应用提供一系列弹性数据管理新理论和方法，具有很好的理论意义和应用价值。

数据动态协同分布与均衡控制问题是分布式数据管理的关键技术。复杂大数据应用的负载高动态混杂性、数据放置关联性、性能需求多样性、资源动态变化性和管控多目标性等复杂性特征，放大了实现敏捷、弹性、多样化高性能和协同关联数据分布和均衡控制的技术难度。.本项目面向复杂大数据应用呈现出的复杂特征，在为期四年的执行过程中，按照计划分别对数据动态协同分布和均衡控制理论、基于关联亲和度的多粒度异构多态大数据动态协同分组与放置模型、多粒度、高动态、混杂性负载特征、层次化的数据存储节点性能模型、基于软配置的数据存储节点性能隔离方法以及模型的实时检测评价与在线更新优化方法及其测试工具集进行深入研究，并取得了相应的研究进展和成果。.在项目参与者的共同努力下，项目取得了一系列重要成果，在国内外重要期刊和会议上发表学术论文近40篇，申请专利7项。与此同时，项目执行期间共培养博士2人，硕士13人，参加学术会议40余人次，成功承办了全国数据库学术会议NDBC 2019，以及以人工智能交叉学科研究为基础的众智科学与工程国际学术会议、国际人工智能联合会议ICCSE/ICA/ICAA 2019等大型国内外学术会议。各项指标达到了本项目的研究目标。.项目研究范围涉及理论与方法、技术和原型系统。项目的完成为复杂大数据应用提供一系列弹性数据管理新理论和方法，具有很好的理论意义和应用价值。