面向绘制质量的深度提取及其编码方法研究

发展三维视频（3DV）技术是自由视点电视技术现阶段的主要任务，其中的深度增强格式的3DV编码是尚未解决的核心问题。目前的研究方法大多将3DV处理链中深度估计、深度图压缩和视合成质量这三者单独研究，性能上难以突破。本项目通过研究人眼的立体时空敏感度特性、深度变化对绘制失真的影响，建立深度-3DV质量关系的模型，以从整体上提高3DV系统性能；利用深度图和视频图之间既关联又区别的特点，建立二者的联合深度估计和联合深度编码模式，发展快速高效的深度获取及编码方法；基于深度-3DV质量模型提出将绘制视质量与深度预测模式相结合的深度编码率失真模型以及深度图运动估计模式自适应选择模型，有望可从整体上获得绘制失真小、编码效率高，计算复杂度低的深度编码新方法。本项目研究可获得3DV深度编码的理论成果，对促进3DV的国际标准化进程和面向应用有积极作用。

3D视频（3DV）是新一代视频技术发展方向，多视视频加深度（MVD）格式的3DV是当前研究热点。研究高效深度估计和压缩算法，在保证虚拟视合成质量前提下降低深度编码传输码流及提高压缩速度，有重要的理论价值和实际意义。本项目充分考虑深度获取、MVD编解码、终端虚拟视合成之间的相互影响，主要研究内容及成果如下：.研究人眼立体视觉感知特性以衡量3DV系统质量：提出双目立体视频最小可辨失真模型并利用视觉关注和边缘差异信息评价立体视频质量，评价结果更接近主观感知；提出恰可察觉深度差异模型，生成深度质量提高1.47dB。.研究深度失真-虚拟视失真关系模型及其在深度编码中的作用：提出深度变化-绘制失真估计模型及基于该模型的深度编码方法，获得2dB编码增益；提出深度-虚拟视失真指数模型，深度编码性能提高0.62dB且复杂度降低20%；提出纹理-深度-虚拟视失真模型，用于改进深度图编码的率失真方案并进行纹理-深度联合比特分配，获得0.3dB编码增益且率控制精度小于1%；提出结合纹理图和深度图特性的虚拟视失真估计函数，编码性能提高0.26dB，编码时间减少31%。.研究高效深度图获取与多视绘制方法：提出局部立体匹配深度图生成快速算法，虚拟视绘制质量提高1.44dB；提出基于边缘的深度图生成和自适应时域加权深度增强方法，可克服深度匹配不连续和时域不一致性问题；提出基于FPGA的全高清实时深度估计系统，速率达60帧/秒，可作为独立模块嵌入3DV应用系统；还提出多种Kinect深度修复和TOF深度图超分辨率方法，进行精确的主动式深度获取。.研究面向实用的低复杂度MVD编码：提出利用纹理和深度相关性的MVD编码，减少70.4%的编码时间；提出基于视点相关性的去块滤波，减少35%-6%的滤波时间；提出利用彩色视频编码信息的深度编码，在保持编码质量前提下复杂度降低80%；提出最小化编码比特率和复杂度的3DV编码，降低70%的深度编码复杂度和20%的比特率；提出以深度信息辅助纹理编码的MVD编码快速模式选择算法，减少61%的复杂度；提出面向实用的快速模式判决算法，节省66%的运行时间。.发表论文53篇，其中SCI收录11篇，EI收录41篇；出版专著1部，提交国家标准化提案3项，申请发明专利5项，已全面完成计划任务，研究成果为3DV系统的发展和应用提供了理论和技术基础。