面向FTV视点绘制的多视点视频与深度联合编码研究

自由视点电视（FTV）是一种新型的具有立体感和视点交互操作功能的视频系统，能够让用户从不同的视角欣赏场景，体验到身临其境的视觉体验，被认为是下一代电视系统的发展方向。多视点视频与深度的场景表示方式，会产生庞大的数据量及较高的编码复杂度，对FTV的编码技术提出了巨大的挑战。本项目研究解决两个基本的科学问题：一是如何建立深度与彩色视频的联合机理来进行联合编码方案的设计；二是深度编码失真对虚拟视点图像绘制的影响机理及联合编码的码率分配问题。主要研究内容为：分析深度与彩色视频之间的特征及联合机理，为联合编码提供理论依据；建立联合预测机制来进行联合编码方案的设计；研究深度编码失真对虚拟视点图像绘制的影响机理，建立联合率失真模型来解决联合编码的码率分配问题；对绘制图像进行质量评价，进一步修正联合编码方案。本项目的工作将为FTV系统的研究提供理论和方法，对未来FTV接收机的研发提供关键技术。

自由视点电视（FTV）是一种新型的具有立体感和视点交互操作功能的视频系统，能够让用户从不同的视角欣赏场景，体验到身临其境的视觉体验，被认为是下一代电视系统的发展方向。多视点视频与深度的场景表示方式，会产生庞大的数据量及较高的编码复杂度，对FTV的编码技术提出了巨大的挑战。本项目研究解决两个基本的科学问题：一是如何建立深度与彩色视频的联合机理来进行联合编码方案的设计；二是深度编码失真对虚拟视点图像绘制的影响机理及联合编码的码率分配问题。本项目主要研究内容包括：考虑到联合编码是求取最优视点绘制的问题，建立对彩色视频和深度视频进行编码的率失真模型，并采用率失真模型来特征化码率与视点合成失真的关系，以实现较高的绘制性能和码率控制性能；通过对立体视频掩蔽效应的定性和定量分析，得到双目最小可察觉阈值并考虑色度信息损失不会对感知质量产生影响，为主视点视频分配较多码率以保证立体视频的主观质量，而为辅助视点分配相对较少的码率以提高压缩效率，由此改变传统主辅视点一致的对称编码方法，实现主辅视点间的非对称编码，进一步提高编码和绘制性能；并就影响编码性能的颜色校正和质量评价问题进行深入研究，提出基于时空变化模型的多视点视频颜色校正方法，以提高编码和绘制性能，并提出基于感知的立体图像质量评价方法，来进一步指导联合编码方案的设计，以获得整体性能最优的FTV/3DV系统设计。本项目组在IEEE Transactions on Image Processing, IEEE Transactions on Multimedia等重要学术期刊及ICME等国际会议上录用及发表了30篇学术论文（SCI/EI收录分别为10/28篇次）、获得授权发明专利4项，并另申请发明专利17项、提交国际标准提案1项。项目负责人邵枫入选为“浙江省新世纪151人才工程第三层次”。鉴于本项目的突出成果继续获国家自然科学基金青年科学基金-面上项目连续资助。