基于分布式编码的多视点视频差错控制研究

传输鲁棒性是多视点视频编码的关键问题之一。本项目针对不可靠信道的多视点视频传输，研究并提出一种基于分布式信源信道联合的多视点视频编码差错控制策略，利用分布式编码理论的鲁棒性提高多视点视频传输的可靠性；并根据端到端的率失真估计模型，实现信源信道联合编码的阻止差错扩散帧(peg帧)的自适应选择策略，从而获得编码效率和差错控制性能的最佳平衡。重点研究以下3个内容：1)针对基于运动/视差联合估计的多视点视频编码框架，研究适用于此框架的peg帧编码策略，实现视差估计的多视点鲁棒编码。2)针对基于视点合成预测的多视点视频编码框架，研究此框架中增强视点对基本视点的依赖性、视点间差错扩散性，确定适用于此框架的peg帧编码策略。3）研究peg帧的自适应选择策略，建立多视点视频编码的端到端率失真模型，比较普通编码帧和peg帧两种情况下的率失真代价，选择合理的帧编码模式，使编码效率与鲁棒性达到最优。

本项目针对HHI提出的MVC编码框架的特点，建立了一种传输出错情况下多视点视频的端到端失真度估计模型, 并将该模型与率失真优化相结合，分别实现了基于帧内更新和基于分布式peg帧的多视点视频差错控制策略，有效提高了多视点视频流的传输鲁棒性。实验证明，基于多视点端到端失真度估计的差错控制算法可以有效阻止差错在视点内和视点间的扩散，改善多视点视频有损传输时的图像质量。. 本项目针对基于视点合成的3DV编码框架的特点，分别建立了纹理图像和深度图像传输出错情况下视点合成图像的端到端失真度估计模型，并将此模型与率失真优化相结合，对纹理图像和深度图像编码分别实现了自适应分布式编码保护。实验证明，自适应分布式编码保护有效提高了多视点视频流的传输鲁棒性，且性能优于简单的周期性分布式编码保护策略。此外，本项目还提出了一种帧级差错掩盖方法，实验结果表明这种方法可以在高丢包率下显著提高视频重建的主客观质量。.此外，根据HVS感知特性和研究热点，本项目进一步研究了基于视觉感知特性的优化视频编码和差错控制技术研究。主要内容包括：基于人脸感兴趣区域的码率优化分配、基于立体视觉感知模型的立体视频优化编码、基于视觉感知的分布式自适应量化，以及基于SSIM的容错视频编码。实验证明，感知优化的视频编码和差错控制技术，可以有效改善视频编码的率失真性能和视频流的传输鲁棒性。. 在本项目研究期间，共发表期刊论文6篇，会议论文9篇，获得8项发明专利授权（其中转让2项），申请发明专利4项。