用户行为分析与网络视频分发策略

Online video services are the most challenging research topic in content distribution. The challenges to provide online video services include: very large scaled user population, flash crowd use access behavior, highly concurrent user requests, large body of video category and video population, the difficulty to manage and replicate videos. So far, the most effective solution for above challenges is to increase network capacity by adding (edge) server number, enlarging storage size, improve bandwidth capacity and so on. However, our project aims to design a smarter solution for online video services based on the modeling and analysis of large scaled user behavior data. More specifically, the covered research problems include: (1) modeling and analysis of user behavior data of large online video systems; (2) detecting fake view behavior based on view entropy; (3) analyzing the bandwidth allocation strategies by queuing theory; (4) analyzing the whole cache network based on the optimization theory and proposing effective video replication algorithms; (5) analyzing how front page recommendation, social network recommendation, related recommendation affect user behavior, video popularity and video lifetime. Finally, the theory and method proposed by this project can be used to improve the effectiveness of content distribution, reduce servers’ bandwidth consumption and improve users’ quality of service (QoS) and quality of experience (QoE).

目前，视频分发是网络内容分发的研究难点，其主要特点是：用户规模大，用户访问的突发性和并发性强；视频种类和数量多，视频的管理与存储复杂；用户需求多样化且用户需求弹性小。目前解决以上挑战的主要的方法之一是提高网络服务能力：增加网络服务器和边缘服务器数量，增大存储空间，提高带宽服务能力等。此类方法成本高昂且不具有可扩展性，而本项目旨在通过用户行为分析设计更智能化的内容分发策略。具体研究内容包括：（1）网络视频用户行为数据的分析与建模；（2）基于用户观看的熵值检测虚拟用户行为；（3）基于排队论模型建立视频服务器的带宽资源分配模型；（4）基于最优化理论分析缓存网络，提出有效的内容复制和替换算法；（5）通过统计学的因果推断来分析视频热度、生命期和推荐因素的关系。本项目提出的理论和方法可以用于提高视频分发的效率、减少服务器带宽资源消耗、提高用户服务质量和用户体验。

视频流媒体服务是网络内容分发服务的研究难点和热点。其主要特点是包括用户规模大，用户访问的突发性和并发性强；视频种类和数量多，视频的管理与存储复杂；用户需求多样化且用户需求弹性小。增加网络容量、并发处理能力和快速响应能力是解决大规模网络流媒体服务的方法之一。然而，此类方法成本高昂且可扩展性低。针对这一挑战性问题，本项目将通过用户行为分析设计更智能化的内容分发策略。具体研究内容包括：（1）利用马尔科夫模型对网络视频用户行为进行分析与建模；（2）利用机器学习模型对用户进行分类；（3）基于排队论模型建立视频服务器的带宽资源分配模型；（4）基于最优化理论分析缓存网络，提出有效的内容复制和替换算法。经过三年的研究，本项目在以上问题均取得了一定的突破，尤其是在用户分类、用户行为分析、网络资源分配和内容缓存算法设计等方面均取得了科研成果并发表了高水平的学术论文。 本项目提出的新理论和新方法可以用于提高视频分发的效率、减少服务器带宽资源消耗、提高用户服务质量和用户体验。