超高清全景视频的无线分发机制研究

Panoramic video enables immersive and presence visual experience, which is expected to be the future video format. However, extremely large bitstream is necessary to represent the multiple ultra-high definition (UHD) views of panoramic video, which exhausts the resources of the source host, the network and the terminals. In this project, we propose the so-called predicted interactive panoramic video research methodology, which investigates the solutions of a flexible panoramic video coding, multi-dimensional optimization problem for joint source-channel coding, modelling and prediction of the novel terminal user behavior. Specifically, we predict the region of interest (ROI) of the users and deliver the corresponding bitstreams in advance, thereby minimizing the consumed resources without imposing extra delay. This research will pave the road for the wireless delivery of the future panoramic video.

全景视频给人以浸入式和在场式视觉体验，从而被广泛认为是未来的视频格式。但是，其超高清的多视角视频格式，需要很大的网络带宽，对发送端设备、终端设备及数据网络造成很大的资源消耗。本课题提出预测式交互全景视频研究方案：设计全景视频可扩展式编码方案；解决信源信道编码的多维数学优化问题；创新性的对全新的全景终端用户行为进行数学建模和预测。其预先传输用户感兴趣的视频区域码流，使得保证接收端低延迟的前提下，最大化的降低分发全景视频数据的代价。课题预期为未来全景视频的无线分发提供技术基础。

全景视频提供360°沉浸式的观影体验。由于不同观看者的兴趣不同，他们在同一帧中会产生不同的视口选择。然而可见的视口视频信号只占用完整球面的信号的一部分，因此，传输完整的球面视频将浪费大量的带宽资源。因此，可以通过预测交互的方式传输全景视频，以此降低需要传输的数据量，提高全景视频的质量。.在本项目中，课题组采用如下解决方案：首先，预测观看者的未来的视口；然后，对视口内的全景视频信号采用不均等信道编码来分配带宽资源，以此优化接收端的视频质量和用户体验。在接收端，对视频质量进行增强，以提升视觉效果。课题组提出了两种基于深度学习的视口预测方案：基于物体跟踪和基于球面注意力机制；一种非均等错误保护算法；一种视频质量提升算法。算法中，LSTM网络综合利用观看者的历史视口轨迹、视频内容、物体跟踪来进行视口预测。仿真结果表明我们提出的方案相较于已有的预测误差，准确率可提高33.5％。针对全景视频的无线传输，课题组提出不均等错误保护兴趣区域算法（ROI-UEP）。其中，我们提出加权峰值信噪比（WPSNR）用于评估重建全景视频的质量。仿真结果表明ROI-UEP方案获得了9.4dB的WPSNR提升。基于深度学习的视频质量提升算法可以提升视频质量0.63dB。. 这些研究成果可以提高无线接收端全景视频的质量，降低所需的传输带宽和能量消耗。本项目旨在发表高水平的科研论文，研究成果获得了国内外同行的认可。截止目前，项目课题组共发表期刊论文6篇，发表会议论文4篇，出版专著《虚拟现实——从零基础到超现实》(23万字)，获得虚拟现实二等奖一项，申请国家发明专利 3 项，其中两项已进入实审阶段。培养了 2 名毕业硕士，1名博士和 5 名在读硕士。. 总之，本项目建立了一套完整的基于全景视频视口预测的无线全景视频传输系统。其可以有效的提高全景视频效率，降低传输系统的资源消耗。因此，其研究成果可以广泛的服务于未来全景视频监控、分发、分化旅游、游戏等领域，为我国的相关产业发展提供技术基础。.