基于立体视觉显著性的多视点视频编码理论与技术研究

Multiview video is receiving much attention, because it can be widely used in the field of 3DTV, advertising media, animated games and virtual reality. Efficient encoding of massive multiview video data is crucial to multiview video services, so it has significant research values. This project will intensively carry out the following issues in multiview video coding based on stereoscopic visual saliency. Stereocopic visual saliency is the key technology to stereoscopic video processing, so the first crucial problem to be resolved lies in exploring the influence of depth feature on visual saliency and establishing the stereoscopic visual saliency model which corresponds to human visual system. The principal goal of multiview video coding is improving coding efficiency, so the second crucial problem to be resolved lies in exploring the computing model of region quantization parameter and optimization method of coding parameter based on visual saliency. Scalability is an important need under heterogeneous network environment, so the third crucial problem to be resolved lies in the layer assignment and scalable coding method of multiview video plus depth data based on the distribution of stereoscopic visual saliency. The research results are able to provide theory and method for the multiview video coding based on stereoscopic visual saliency and promote the development of stereoscopic 3D technologies.

多视点视频可以广泛应用于立体电视、广告传媒、动漫游戏和虚拟现实等领域，是当前研究的热点。海量多视点视频数据的高效编码是多视点视频的关键技术，具有重要的研究价值。本项目针对基于立体视觉显著性的多视点视频编码中存在的问题开展以下研究：立体视觉显著性是立体视频处理的关键技术。探索深度特征对视觉显著性的影响，研究符合人眼特性的立体视频视觉显著性模型，是要解决的第一个关键科学问题；提高编码效率是多视点视频编码的主要目标。依据人眼视觉特性，研究基于视觉显著性的区域量化参数计算模型，探索基于分级视觉显著性的量化参数优化方法，是要解决的第二个关键科学问题；可分级性是异构网络环境下视频编码的重要需求。研究基于立体视觉显著性分布的多视点视频加深度数据分层和可分级编码方法，是要解决的第三个关键科学问题。本项目研究成果能为基于立体视觉显著性的多视点视频编码研究提供理论和方法，对推动立体信息技术的发展具有重要意义。

多视点视频数据的高效编码是3D视频的关键技术，具有重要的研究价值。本项目针对基于立体视觉显著性的多视点视频编码中存在的问题，在视觉显著性、多视点彩色视频编码、多视点深度视频编码等方面开展了相关研究。在视觉显著性模型方面，研究了亮度、颜色、运动以及视差等信息对视觉显著性的影响，提出了一种通用显著性计算方法和引入深度特征的立体视觉显著性计算方法；在多视点彩色视频编码方面，研究了基于视觉显著性的区域量化参数计算模型，探索了基于分级视觉显著性的量化参数优化方法，实现了基于立体视觉显著性的多视点视频编码；在多视点深度视频编码方面，依据人眼视觉特性和虚拟视点绘制原理，研究了多视点视频加深度视频编码方案，实现了深度视频编码比特分配和码率控制、多视点深度视频比特分配方法等。项目实现了预期研究目标，为进一步推动3D视频编码和显示技术的发展奠定了一定的理论与技术基础。