三维视频显著对象编码及可靠传输

3D video presents the immersed experience and sense of reality for the audiences. However, it also increases the data to be transmitted, which results into more congestion and packet loss. Hence, robust 3D video coding and transmission is one of key problems in 3D video applications. Conventional robust video coding schemes mostly focus on the end-to-end object distortion, while less energy are put on the visual feature, thus results into worse subjective experience. Therefore, our project proposes a robust 3D video saliency object coding and robust transmission systems. Utilizing the feature of 3D video, the project designs an efficient saliency object detection algorithm by considering the distance, contrast and orientation between different regions, thus gets the saliency map of key frames. With the help of motion estimation, the saliency map propagation is obtained for the other frames. Hence, 3D video saliency object coding s are implemented. In addition, the saliency maps for the key frames are encoded with contour coding based on bit-plane. Finally, multiple description coding for 3D video saliency object are proposed, which considers the video contents, saliency map and channel status. In addition, the multiple description scheme employs the mismatch distortion of synthesis view to optimize the quantization step of redundant macroblock, thus protects different regions unequally. The whole process ensures the robust communication of 3D video, especially for the saliency object regions.

三维视频在带给人们沉浸式视觉体验的同时，也造成了数据量的成倍增加，拥挤和丢包现象难以避免，因此三维视频的可靠编码和传输是三维视频应用推广的关键问题之一。以往的可靠编码算法大多关注视频端到端的客观质量，忽视了人眼关注的显著对象，造成主观视觉质量相对较差。因此本项目研究了三维视频显著对象的编码及可靠传输系统。针对三维深度信息的特点，结合图像区域间的空间距离、颜色对比度以及方向特征差异，深入研究实时有效的三维显著对象检测算法。为了避免每帧都进行额外的显著对象提取，本项目将结合运动估计研究显著区域由关键帧到其它帧的传递算法，进而完成三维显著对象编码，并对显著标志进行位平面轮廓编码。最后，本项目将根据误差扩散分析，研究三维视频显著对象多描述编码，整个过程考虑了视频内容、显著特性、网络状态以及合成视点的误匹配误差分析，确保视觉重要对象的可靠重建。

三维视频在带给人们沉浸式视觉体验的同时，也造成了数据量的成倍增加，拥挤和丢包现象难以避免，因此三维视频的可靠编码和传输是三维视频应用推广的关键问题之一。以往的可靠编码算法大多关注视频端到端的客观质量，忽视了人眼关注的显著对象，造成主观视觉质量相对较差。因此本项目研究了三维视频显著对象的编码及可靠传输系统。具体分如下三点：1)研究三维视频的特性并制定显著区域提取算法。首先提出了边缘校正的深度图像上采样后处理算法，以使得纹理图像和深度图像具有相同的分辨率；利用深度信息特性辅助颜色信息进行RGBD四个通道的显著性区域提取；利用压缩域DCT系数的特性进行显著区域的提取；实验结果好于目前经典算法。2).研究三维视频特性，并据此设计相应的三维视频编码算法，以完成显著区域的高质量编码；跟据视频编码的非对称性对三维视觉体验的影响，设计非平等保护编码算法，以在不稳定信道下实现较好的三维观看体验。实验结果好于经典算法1-3个dB。3)研究虚拟视点合成算法，根据视点合成中左右视点不同区域对视点合成质量的影响，将其分区，进而设计相应的视点合成快速算法，以实现在节省50%左右计算量的情况下，仍然提供较好的虚拟视点合成质量。本项目发表论文15篇，SCI论文10篇，包括IEEE Transaction论文4篇，发表EI论文2篇。申请专利5项。项目的研究成果可以应用到全景视频的博物馆展示、广告展示、汽车辅助驾驶等领域。