多云数据中心支撑之上的内容分发架构即服务关键技术研究

Traditional streaming video providers need to invest heavily to maintain dedicated servers or rent fixed-bandwidth CDN servers, causing high hardware maintenance costs and CDN costs, and the rented resources can not be dynamically extended. The rise of cloud computing can make video providers use cloud resources on demand. The development of cloud data center server virtualization and cloud storage technology has provided guarantees to support streaming media on-demand service.At the same time, multi-cloud datacenter alliance has supported content delivery infrustracture deployment. In this background, our project proposes Multi-cloud Datacenter based Content Delivery Infrustractue as a Service - CDIaaS Key Technology Research, refering to as Content Delivery Cloud Infrustractue. And we will study a new type of multi-cloud-based content distribution services loosely-coupling technology and unified resources scheduling technology. In the project, we will study how the content delivery cloud provide a variety of unified service interface, the virtual cache resource allocation model across multiple data centers, and efficient prediction algorithm on the variable scale of video users accessing, the load adaptive virtual cache resource negotiation, scheduling and auto-scale model, and cost-effective content delivery cloud resource allocation and capacity planning economic model. The research results of this project will promote the development of content delivery cloud technologies, and provide theoretical basis, key algorithm and base model for effective scheduling and allocation of content delivery cloud resources, as well as a variety of heterogeneous loosely-coupled content service system.

传统的流媒体视频提供商需要租用固定带宽的CDN服务器，造成较大的CDN租用费用，资源也不能动态扩展。而云计算的兴起倡导视频提供商可以按需使用云端资源，云数据中心服务器虚拟化和云存储技术的进步已经能为流媒体服务提供保障。多云数据中心的联盟正可以支持内容分发架构的部署。在这个背景下，我们提出多云数据中心支撑之上的内容分发架构即服务关键技术研究，简称内容分发云架构技术。研究新型的基于多云架构的内容分发服务松散耦合和资源高效调度技术。我们将展开研究内容分发云服务接口技术，研究跨多个数据中心的虚拟缓存资源分配模型，视频用户访问规模变化的高效预测算法，负载自适应的虚拟缓存资源调度和伸缩模型，和高性价比的内容分发云资源配置与容量规划经济模型。课题研究成果将有助于大力推动内容分发云技术的发展，为内容分发云资源的有效分配调度和使用，为各种异构内容服务系统的松散耦合提供理论基础、关键算法及基础模型的支撑.

传统的流媒体视频提供商需要租用固定带宽的CDN服务器，造成较大的CDN租用费用，资源也不能动态扩展。而云计算的兴起倡导视频提供商可以按需使用云端资源，云数据中心服务器虚拟化和云存储技术的进步已经能为流媒体服务提供保障。多云数据中心的联盟正可以支持内容分发架构的部署。在这个背景下，我们展开研究多云数据中心支撑之上内容分发架构即服务关键技术，简称内容分发云架构技术。我们主要研究了新型的基于多云架构的内容分发服务松散耦合和资源高效调度技术。在合作研究中，合作单位网宿公司是中国最大的CDN公司，他们提供了关键的CDN运营日志数据。其中第一批的日志数据采集了服务器运行时的硬件相关信息，包括：CPU利用率，网络利用率，硬盘利用率和内存利用率等；每条日志记录高达312项特征。第二批数据以Cache组为单位，主要包括机器数据和网络数据两类。机器数据主要统计Cache组内服务器的硬件信息，包括：CPU利用率、内存利用率、I/O利用、I/O等待、端口响应时间等；统计指标包括：平均值、最大值 、样本数、方差等。网络数据主要统计Cache组内服务器的网络信息，包括：丢包率、延迟、下载率、HTTP响应时间等等；日志每分钟采集一次，每条数据共80项信息数值。在关键数据支持下，我们具体展开研究了多云环境下基于QoS的应用优化部署机制、基于多云架构的CDN内容分发资源优化配置和调度机制、混合云环境下资源动态优化部署机制、多云环境下基于大数据分析的CDN服务质量评估与资源调度机制、服务质量驱动的内容分发网络多边缘云优化部署技术、数据驱动内容分发网络缓存组性能评估技术等多项技术。在这些技术上我们研制完成多个模型和算法。基于这些模型和算法，我们在合作单位网宿公司提供的实验环境中进行了原型系统的开发、集成、测试验证和进一步优化改进，获得了很好的效果。项目总体上产出了多项研究成果，包括发表了26篇SCI国际期刊论文，7篇EI 国际会议论文。申请14项专利,获得2项软著，软件直接应用在网宿的CDN实际运行系统中，得到了很好的转化，起到应用示范效果。项目培养了12名硕士研究生顺利毕业，2名博士生在读，培养了3名青年教师。总体成果超过了原定的项目目标。项目研究成果非常有助于大力推动内容分发云技术的发展，为内容分发云资源的有效分配调度和使用，为各种异构内容服务系统的松散耦合提供了理论基础、关键算法及基础模型的支撑。