基于3D视觉注意的自由视点视频编码与传输

Currently Ultra HD free viewpoint video coding with free glasses to watch 3D effect puts forward higher requirements of compression performance, while traditional coding algorithms mainly eliminate statistical information redundancy. This project will study 3D visual attention-based 3DV / FTV video coding including the basic theory and core algorithms. 3D visual attention-based video coding further eliminates visual information redundancy to improve the compression performance. The study includes using deep neural network model to simulate 3D fixation and visual attention system, 3D visual attention-based 3D video perceptual distortion model, virtual viewpoint synthesis distortion model, rate distortion optimization of 3D textures video and depth video based on 3D visual attention, and perception coding of depth video. For dynamic network environment, end-to-end rate control of joint source-channel coding will be analyzed for 3D visual attention-based FTV coding, including 3D perceptual quality adaption and viewpoint adaption, trying to solve adaptive perceptual quality transmission of 3D visual attention-based 3DV / FTV video coding.

目前免除眼镜观看3D效果的超高清自由视点视频编码（3DV/FTV）对压缩性能提出了更高的要求，而传统的编码算法消除的主要是统计信息冗余，本课题将研究基于3D视觉注意的3DV/FTV视频编码的基础理论和核心算法，在消除统计信息冗余的基础上，进一步消除视觉信息冗余，提高压缩性能。研究内容主要包括基于深度神经网络模拟视觉系统的3D注视点及注意模型，基于3D视觉注意的视频感知失真模型，虚拟视点合成失真模型，3D纹理视频和深度（Depth）视频的联合失真模型及率失真优化模型，3D视觉注意引入的联合率失真优化模型，及3DV/FTV中深度视频的感知编码等算法和关键技术。针对动态网络环境下，研究3D视觉注意视频编码在联合信源信道编码下码率控制，及相关3D视觉感知质量自适应的编码，力图解决动态网络环境下基于3D视觉注意的3DV/FTV视频的自适应视觉感知质量传输问题。

自由视点能够为人们提供免除立体眼镜观看视频的全浸感和交互式功能，以获取更加逼真的、身临其境的观感，已成为国内外研究机构和工业界的关注热点。多视点视频系统在远程视频通信、人工智能、大数据、虚拟现实、医学研究、3D导航及视频监视等领域均有着巨大的需求与应用前景。本课题研究3D效果的高清自由视点编码（3DV/FTV），通过分析视频内容，提取感兴趣片段和区域，并提出根据基于视频内容理解的高效编码算法，实现对3DV/FTV的实时编码和传输。主要研究成果1）在多视点内容理解方面研究了面向多视点视频编码的目标检测的视频及场景内容理解方法，并将其应用于3D视频编码；提出了一种多视点视频中姿态理解和分析方法，姿态预测方法，以及不同姿态及光照条件下人脸重建；提出了一种结构保持型变分自编码器，可以实现视频内容的理解与表示；提出了一种基于多模态聚合后验对齐网络的广义零样本学习方法，以用于多视点数据的自动标注。2）在多视点编码中的率失真建模方面，提出了一种基于显著性的联合失真建模的3D视频编码和视频编码量化算法，及一种基于高斯混合模型和物体边界的压缩传感深度视频编码方法；3）针对多视点的分布式编码问题，提出了一种基于压缩感知和高斯混合模型的分布式视频编码方法，并构建了在波动网络情况下的在线可变长码率编码方法。本课题的研究成果为高效、可靠的3DV/FTV视觉注意视频编码和传输提供了理论基础、核心算法与关键技术，促进了我国在这一领域的创新和发展。同时课题研究中也形成了具有自主知识产权的发明专利、专有技术和核心算法，为我国在3DV/FTV视频媒体综合服务相关标准的制定贡献力量。. 完成系统成果：基于视觉注意的自由视点（3DV/FTV）视频编解码器；在IEEE Trans. Image Processing, Trans. Multimedia等国际期刊论文9篇。IEEE CVPR, AAAI，IROS等顶级国际会议论文15篇，共计24篇论文；申请发明专利4项，其中授权1项；培养博士3人，其中与美国和英国等高校联合培养2名博士生，硕士9人。