面向视觉质量的高效立体视频编码资源分配优化研究

The resource allocation optimization of 3D video coding is the challenge research problem in 3D Video system. Different from the traditional video coding, the resource allocation optimization problems in 3D video coding are with complex and diverse optimization objectives, which is hard to be solved by the single objective optimization model. Besides, the traditional methods employed the Peak Signal-Noise Ratio metric as the optimization criterion, which cannot reflect the user's quality preference for the reconstructed 3D images and limit the coding efficiency. In this project, we will first investigate the human-factors of 3D image quality, and build the 3D image quality database with 3D related distortion types. Then, we will investigate the objective 3D image quality assessment metrics based on previous research outputs. Second, we will investigate the visual quality based rate distortion optimization method. Then the resource allocation optimization models and solutions will be also investigated. Final, we will design the efficiency visual quality based resource allocation optimization methods for 3D video coding, and achieve the dynamic bandwidth and computation resources allocation and control with optimal visual quality. This project will achieve the theoretical innovations and technological breakthroughs for resource allocation optimization of 3D video coding, which can benefit the 3D video application.

立体视频编码中有限资源分配优化是立体视频系统广泛应用急需解决的关键和难点问题，是当前国内外研究热点。立体视频编码中的资源分配中的优化目标具有复杂性和多样性的特点，传统编码资源分配优化方法中的单目标优化模型难以解决多目标的联合优化与求解。此外，传统方法以峰值信噪比PSNR等信号失真度量准则为优化目标，难以反映用户对重建立体图像的视觉质量偏好，限制了编码效率的提升。本项目将首先开展立体图像质量的人因研究，建立失真类型完备的立体图像质量数据库。在此基础上，设计与主观相一致的立体图像质量客观评价模型。然后，探索基于视觉质量的率失真优化方法，研究立体视频编码资源分配优化模型与求解方法。最后，研究面向视觉质量的高效立体视频编码资源分配优化方法，以实现视觉质量最优下的带宽、计算资源的动态分配和控制优化。本项目可实现立体视频编码资源分配优化的理论创新与技术突破，促进立体视频广泛应用。

本项目的研究目标为围绕面向视觉质量的立体视频编码资源分配优化这一科学问题，研究符合立体视觉特性的视觉质量度量机制。在此基础上，研究面向视觉质量的率失真优化方法和编码资源分配优化相关理论。进而，完成研究立体视频编码的优化方法。在立体视频编码优化方面实现了核心理论与关键方法上一定的突破，具有一定的原创性。项目组共发表学术论文19篇，其中包括国际SCI期刊11篇（国际权威期刊IEEE Transactions系列刊物4篇），国际EI会议7篇（CCF推荐C类会议4篇），申请中国发明专利6项。.基于本项目的成果积累，项目组负责人王旭博士在2018年获批国家自然科学基金面上项目1项（61871270，基于视觉感知的高效3D全景视频编码压缩研究），继续开展3D全景视频的编码与算法研究。项目组中4位同学获得工学硕士学位。其中张秋丹完成学业后，赴香港城市大学电脑科学系继续攻读博士学位。总之，课题组按照研究计划如期执行，完成了预期的研究和人才培养目标。