泛在网络下三维视频编码及其传输可靠性的研究

To provide more comprehensive and more accurate information to the user in the future ubiquitous networking system, we need design three-dimensional (3D) video coding, which should can be applied for the low power equipments and have error concealment. However, the raw data of 3D video is tremendous, the storage and transmission in the ubiquitous networking system are very difficult. Therefore, we study 3D video coding and the reliable transmission, the main research contents are: distributed 3D video coding, multiple-description 3D video coding and robust 3D video coding based on HEVC. For distributed 3D video coding, 3D video can be processed and transmitted reliably in the low power devices. For multiple 3D video coding, 3D video can be compressed and transmitted reliably. For robust 3D video coding based on HEVC, 3D video can be compressed efficiently, and the quality of reconstruction is reliable. The research results can be applied in Video Communication, Video on Demand and Video Conferencing in the future ubiquitous networking system. There are important theoretical and practical values. More importantly, our project has a significant impact on the development of ubiquitous network technology, and has broad application prospects.

为了在将来的泛在网络上向用户提供更加全面、更加准确的信息，需要设计适用于低能耗设备的三维视频编码算法和具有容错能力的高效的三维视频编码算法。但是，三维视频的数据量非常庞大，其存储和传输都非常困难。为此，本课题在三维视频编码及其可靠性传输方面进行了深入研究，主要包括：分布式三维视频编码算法、多描述三维视频编码算法和鲁棒的基于HEVC的高效三维视频编码算法。其中，分布式三维视频编码算法可以使数据量巨大的三维视频在低能耗终端设备中处理；具有容错性能的多描述三维视频编码算法可以使数据量巨大的三维视频可靠压缩传输；鲁棒的基于HEVC的三维视频编码可以实现三维视频的高效压缩，并保证重建视频的质量。本项目的研究成果可以广泛应用于泛在网络下的视频通信、视频点播、视频会议等领域，具有重要的理论意义和实用价值。更重要的是本项目的研究将对我国泛在网络技术的发展产生重要的影响，应用前景广阔。

三维视频的数据量非常庞大，其存储和传输都非常困难。本课题通过研究分布式视频编码(Distributed Video Coding, DVC)和多描述编码（Multiple Description Coding, MDC），进行了高效的三维视频编码及其传输可靠性的研究工作，具体成果如下：.（1）在分布式视频编码方面，提出了基于贝叶斯的多边信息的联合条件概率密度函数，然后将该联合条件概率密度函数应用于多边信息的Wyner-Ziv视频编码中，其中，还使用了最优重建、补码和当前先进的分类相关噪声估计；同时，基于人类视觉特性，提出了基于JND 的分布式视频编码；（2）在多描述编码方面，基于人类视觉的固有特性，即人眼只能看到特定变化的阈值，也就是最小可察觉失真（Just Noticeable Distortion, JND）阈值，提出了两种基于人类视觉模型特点的多描述编码方案，即基于JND的MDLTPC系统和基于JND的MDROQ系统，在这两种方案的编码端，小于JND阈值的DCT系数被预处理，提高其编码效率；（3）在基于多描述编码的立体视频编码方面，提出了一种鲁棒的立体视频编码方案，即把立体视频分成两个描述，其中左右视频序列的奇数帧作为一个描述，左右视频序列的偶数帧作为另一个描述，如果其中一个描述在传输或重建中发生数据包丢失，立体视频仍然可以通过另一个描述来重建，同时，我们提出了一种基于内差补偿预处理(Interpolating Compensation Preprocessing, ICP）的多描述立体视频编码方法，内差补偿预处理在编码之前实现，它首先找出重建质量不好的块，然后选择该块最好的预测模式来提高该块重建的质量。.本课题按照研究目标，完成了相应的研究内容；发表论文25篇，SCI检索10篇，EI检索13篇；申请发明专利5项；人才培养方面，毕业了2名博士研究生和4名硕士研究生；学术交流方面，课题负责人于2017年8月赴加拿大西蒙弗雷泽大学进行为期一年的公派访问学习，课题组参加了APSIPA ASC 2016、VALSE等学术会议9人次。