360度全景视频与信息中心网络融合的自适应流媒体传输理论与技术

360-degree panoramic video, as an important technology for presenting the virtual reality (VR), poses a great challenge to the current networking and communication techniques, which is mainly because of its characteristics such as full-view coverage, high spatial resolution and temporal frame rate. This project aims to propose an ICN architecture that supports adaptive streaming for 360-degree panoramic videos, in order to achieve an efficient transmission by investigating the related theory and techniques in source coding, networking, and receiver’s adaptation. Specifically, for the encoder, we propose an optimal tile partitioning based encoding framework, and a network/user adaptive rate adaptation and encoding scheme for the tiles with multiple rate versions, such that the computation and storage resource of the server, and the bandwidth resource of the network is fully utilized. Within the network, by utilizing the unique characteristics of ICNs (i.e., addressing by content names and in-network caching), we adaptively place and replace the cached video content based on network and user dynamics, and dynamically allocate the optimal path for the transmission of requested content, such that the video tiles are transmitted with low delay and high reliability. For the users, we develop the prediction model for the user’s head movement and analyze the model accuracy. Based on this prediction model, as well as network conditions, we proposed an optimal area determination and rate allocation scheme for the user’s buffer, and further study the joint optimization of the rate allocation for both the user’s viewport and the buffer, such that the user’s quality of experience (QoE) is enhanced.

作为虚拟现实技术的重要组成部分，360度全景视频由于其全视角覆盖、高分辨率以及高帧率的特点，对当前的网络传输提出了严峻的挑战。本项目拟提出支持360度全景视频自适应流媒体传输的信息中心网络整体系统架构，通过对编码、网络传输和用户端适配接收三个方面的研究以提升传输效率。在编码端，提出基于最优空间切片大小及划分的编码框架、以及适配网络与用户的多码率时-空切片的码率最优适配与编码方案，以最大化地利用服务器的计算、存储资源和网络传输的带宽资源。在网络端，利用信息中心网络使用命名寻址的特点以及网络中的缓存能力，自适应地根据网络和用户的情况放置并更新缓存内容，并动态地为用户的请求寻找最优的路由，以实现低延迟、高可靠性的传输。在用户端，建立头部运动预测模型以及预测误差模型，基于这一预测以及网络传输情况，提出用户缓冲区最优大小及码率分配方案，并进一步提出视区和缓冲区的联合优化码率分配，以提升用户观看体验。

本项目研究了360度全景视频在网络中的自适应流媒体传输理论与技术，为了有效地缓解海量的360度全景视频数据业务流量、终端用户对于观看体验的差异化需求与有限的网络传输资源之间矛盾，通过对服务器端360度全景视频基于切片的编码技术、信息中心网络架构及高效传输方法、用户端自适应流媒体适配接收技术的分别研究和有效融合，提出支持360度全景视频多码率-时空切片自适应传输的信息中心网络整体系统架构。.主要理论与技术创新包括：1）服务器端最优编码方面，提出了基于切片的360度视频流编码优化方法、旋转等变的图卷积神经网络设计、基于旋转等变的球面图卷积神经网络的360度图像显著性预测、用于球面信号处理的旋转等变的全局-局部注意力图卷积网络等理论与技术；2）网络中高效传输方面，提出了360度全景视频的最优编码与高效传输、基于切片的360度视频流媒体缓存转码和分发联合优化框架、用于异构视频文件及边缘缓存资源的分布式编码缓存优化等理论和技术；3）用户端最优码率适配接收方面，提出了基于深度强化学习的360度全景视频流媒体码率自适应算法、用户QoE最大化的点云视频自适应传输策略优化、基于贝叶斯神经网络和模型预测控制的鲁棒自适应视频流接收、基于元强化学习的可泛化码率自适应算法等理论与技术。.重要研究成果包括：发表重要学术论文55篇，（其中：SCI收录国际期刊论文18篇，均发表在IEEE著名汇刊上，EI收录国际会议论文37篇）；获授权9项国家发明专利、1项美国发明专利；参加29次国际学术会议；培养国家级人才计划1人次（国家优青）、省部级人才计划1人次（上海市青年科技启明星）；获ACM Multimedia 2022国际学术会议的Top Paper Award、中国电子学会自然科学一等奖、吴文俊人工智能科技进步二等奖等学术科技奖励。