适配无线传输的移动立体视频编码技术研究

随着3G/4G无线通信和立体视频技术的快速发展以及支持可切换2D/3D显示的智能移动设备日益增多，人们对能够随时随地进行全新立体视觉体验的需求日益强烈。立体视频数据量大，目前的编码方法立足于信源压缩，已经提高了压缩效率，但仍然无法适配带宽资源有限、时变性强的无线传输系统。为了解决该问题，本项目针对视频加上深度的立体视频格式，研究虚拟视点视频评价与端到端3D率失真理论，提出适配无线传输的立体视频可伸缩编码方法。基于虚拟视点评价模型，实现满足时变带宽波动的动态码率控制（VBR）；研究端到端3D率失真模型，实现高鲁棒性的信道自适应选择性传输；建立3D超分辨率重构理论，实现低码率的立体视频高效编码；搭建移动立体视频编码与无线传输系统，对上述模型与方法进行测试验证。本项目预期的研究成果将推动无线视频编码与通信领域的应用基础研究，对未来宽带无线通信中部署高质量立体视频服务具有非常现实的意义。

本项目在研究适配无线传输的移动立体视频编码与传输框架基础上，深入研究了基于3D率失真模型的立体视频编码码率控制、端到端主观视觉率失真优化、基于纹理/深度/前向错误保护码率分配和3D视觉关注的立体视频无线传输、可伸缩视频传输调度、适配异构无线传输环境的可伸缩3D视频P2P分发等方面的理论与技术。针对无线传输环境下带宽波动、动态变化的特性，提出了适配无线传输的立体视频动态码率控制算法。通过建立虚拟视点评价模型（3D率失真模型）来指导深度和视频的码率分配，进而控制视频和深度的码率。该方法除了保证左视点的质量外，还能保证虚拟视点的质量，同时有效的实现深度和视频的动态码率控制。考虑到端到端视频传输过程中，主观视频质量的刻画与端到端差错控制之间的关系，本项目提出了基于结构相似性评价的容错率失真优化编码以及跨层优化传输技术，能够有效的提高视频传输的主观质量。根据3D视频无线传输的特性，我们将跨层优化技术引入到3D视频编码与传输中，提出了基于3D视频端到端率失真模型的跨层优化3D视频传输技术，有效的实现了信道自适应的高鲁棒性3D视频传输。鉴于3D视频关注具有不同于2D视频关注的特性，我们提出基于3D关注度的3D视频传输码率分配方法，有效的突出了深度体验在3D视觉感知中的作用。同时，为了实现信源适配信道的传输，我们提出适配无线环境的3D视频转码方法，实现主观体验保障的动态3D视频转码参数配置，能够适配动态的无线网络。为了充分利用网络多信道特性和可伸缩编码视频的信源特性，我们研究了可伸缩视频的动态传输调度算法，实现了信源与信道的高效适配。在此基础上，我们又提出了可伸缩3D视频编码与P2P结合进行3D视频分发过程中基于可变时长的3D信源数据分片分割算法以及P2P调度算法，有效的提高了可伸缩3D视频传输中分片同步的效率。在自然基金资助下，本项目共发表高质量论文17篇，其中SCI论文3篇（包含ACM-TOMCCAP 1篇），EI论文14篇。申请专利6项。