云计算中基于内容相似性的资源动态融合技术研究

Live migration of virtual machine is a key technology in the field of cloud resource management, which is still lack of high-efficiency models and implementations in production environments. This proposal will focus on the issue of multiple live migrations in cloud computing infrastructures, and investigate the impact factors on live migration, including storage layer architecture, workload execution pattern and data transfer pattern. Through quantitative analysis and testing, a variety of significant factors that impact the efficiency of virtual machine migration, we derive the models of virtual machine migration performance prediction and overhead prediction. On this basis, we conduct a comprehensive study on virtual machine lifecycle management based on content mirroring similarity , including the timing of migration of virtual machine, migration object selection , migration target selection, host energy management research mirrored storage, transmission, examples of optimization algorithms and so on. We will develop a dynamic resource management prototype system and a toolkit of cloud migration algorithm library with independent intellectual property rights. The proposal has the characteristics of specific application-driven, multi-field penetration, focuses on at the forefront of cloud computing theory, and hits the concrete application bottlenecks. We will achieve innovative solutions in theory, method and technology in terms of the performance of virtual machine migration modeling, distributed mirror management and migration optimization methods. Expected research results will play a positive role in promoting cloud computing system maintenance, load balancing, green computing and other scientific research areas.

资源动态融合是云计算系统维护、负载均衡、节能减排的一项关键技术，目前其在应用中亟需高效的方法与实现研究。本项目将针对资源动态融合技术中的多虚拟机迁移问题，研究云计算环境网络及存储层次结构、负载执行及数据传输模式对虚拟机在线迁移过程的影响，通过定量的测试和分析影响虚拟机迁移效率的各种因素，形成虚拟机迁移性能和开销预测模型。在此基础上，围绕虚拟机镜像的“内容相似性”特征，研究虚拟机镜像全生命周期管理，通过虚拟机迁移时机、迁移对象、迁移目的地选择以及主机能耗管理多角度研究镜像存储、传输、实例化不同阶段的管理及优化方法，产出具有自主知识产权的云计算资源动态管理系统及迁移算法库。该研究依托具体应用驱动,多领域渗透,瞄准了云计算理论前沿,切中了具体应用瓶颈,在虚拟机迁移性能建模、分布式镜像网络管理方法、迁移优化方法三方面将有理论、方法和技术创新。预期成果将对云计算系统资源有效利用研究起到积极推动作用。

近年来，资源动态融合已经成为建设云计算中心普遍采用的核心技术，为实现资源复用和性能隔离带来了新的契机。本项目围绕通过虚拟机镜像的“内容相似性”特征优化云计算环境下资源动态融合这一科学问题，联合了计算虚拟化和海量数据存储与处理领域优势研究力量，组织了这两个领域专业人才队伍，在基于基于OpenStack的虚拟机动态迁移方法方面提出了基于混合后拷贝的虚拟机动态迁移机制和能效可感知的虚拟机调度策略。在分布式系统优化领域提出了面向分布式机器学习的通信动态调优技术，对环境下大数据处理平台的性能进行量化分析，提出基于混合内存的缓存策略优化。在资源调度策略研究方面，对云计算环境下功耗与服务质量（QoS）可感知的资源调度策略和能效性驱动的服务器自动化配置两方面进行研究。在容器云IO隔离性优化技术方面，开展了面向容器云的 I/O 隔离性建模与评测，对混部场景的容器 I/O 性能隔离性优化的研究。. 经过四年的努力，通过该项目的执行，丰富解决云计算资源动态融合问题的理论与方法，提升我国云计算应用水平。具体成果包括：在虚拟机迁移性能建模、分布式系统优化技术、资源调度策略、容器云IO隔离性建模与评测等四个方面取得创新性成果；建立面向“存储-传输-实例化”虚拟机全生命周期的一整套管理理论、方法和技术体系；提出从虚拟机迁移时机、迁移对象、迁移目的地选择以及主机能耗管理多个角度研究的多镜像迁移问题的一体化研究方法；实现用户易用、接口良好、可扩展性强、移植方便、高性能的动态资源管理系统及虚拟机迁移算法库。. 项目实施过程中在国内外有影响的学术期刊或会议上发表35篇高水平的研究论文；申报国家发明专利18项，申请软件著作权2项；获浙江省科学进步二等奖1项；参加国际交流2人次，组织6次资源动态管理相关领域研讨会，与国际上相关研究团体、专家学者建立合作交流关系；培养硕士研究生22名，博士研究生4名。