基于对象的交互式三维视频系统压缩编码与虚拟视点绘制若干关键技术研究

本项目将基于目前交互式三维视频系统国内外研究现状以及申请者在已完成国家自然科学基金"基于对象的多目视频分形压缩编码研究"基础之上进行进一步的深入研究：首先改进摄像机的布置方式，提高其性价比；采用视频加视差的数据表示方式；研究高精度的视差估计算法；相应的提出一种新的多视点视频数据的表示方式；然后研究新的基于对象的多视点视频的编解码方法，对感兴趣区域进行编码，并提出一种面向系统功能，可分级性强的编码算法；研究基于模型和图像的虚拟视点的绘制方法，在减少计算复杂度的条件下，利用少量的图像数据进行虚拟视点的绘制；通过人眼的生理学实验，得到人眼位置的变化和视点变化之间的关系；最终根据由人眼跟踪算法获得的人眼的位置，来自动的显示所需视点的图像。本项目将重点研究基于对象的多视点视频的编解码方法和虚拟视点的绘制方法等关键技术问题，争取在相关核心和难点问题上取得进展，为交互式三维视频系统的应用提供技术支撑。

本项目开展了基于对象的交互式三维视频系统压缩编码与虚拟视点绘制若干关键技术研究并取得如下研究成果：1、首次提出了一种新的优于国际视频压缩标准H.264的“基于分形和H.264的高效视频编解码系统”。实验结果表明，与H.264的最新测试模型JM18.5相比较，在PSNR影响可以忽略的情况下（平均降低0.14 dB），改进的P帧预测方法压缩时间减少为JM18.5的19%，码流降低为JM18.5的50%，并且能够适应各种运动类型的视频序列，大大提高了H.264的总体编码性能。根据国内外检索未发现在综合性能指标上超过本项目所提出编解码系统的方法，本项目所提出的“基于分形和H.264的高效视频编解码系统”主要压缩性能指标处于国际领先水平；2、首次提出了一种优于国际多视点视频压缩标准JMVC的“基于分形和H.264的高效多视点视频编解码系统”。实验结果表明，本项目所提出的“基于分形和H.264的高效多视点视频编解码系统”相对于国际多视点视频压缩编码最新测试模型JMVC8.5在解码质量上有0.3dB的提高，而产生码流和编码时间降低为JMVC8.5的85%和3%，在编码效率上有很大提高；3、提出了一种新的基于自适应灵活块划分方式和优化帧内模式选择算法的高清视频帧内预测编码方法。相比于高清视频编码国际标准HEVC参考模型HM4.0，解码图像PSNR减少0.19dB，码率增加2.94%，编码时间减少30.82%，在PSNR减少和码率增加影响很小的情况下，大大减少了编码时间，提高了高清视频压缩的实时性；4、提出了一种新的基于自适应分水岭算法并且使用非参数深度平滑模型来建立图割的能量方程的立体匹配方法。实验结果表明，通过Middlebury立体匹配测试平台对所提算法定量评估得出在所有区域误匹配、非遮挡区域以及深度不连续区域的误匹配率都控制在8.5%以内；5、提出了一种优化的DIBR虚拟绘制算法。基于双向绘制虚拟视点算法以遮挡物体的色彩图和深度图来获得虚拟视点图像，可以很好的解决空洞问题，虚拟视点合成的结果也较为令人满意；6、提出了一种基于视差和视点位置加权的多视点虚拟绘制方法。实验结果表明该方法可以达到有效合成用户所需视点图像的目的。本项目提出的适用于现场测量的高效图像和视频压缩与传输方法已成功应用于“飞机大型整体结构件测量/加工一体化关键技术及应用”并获得了2013年国家技术发明二等奖。