基于区域选择性视觉冗余的多视点视频编码方法研究

多视点视频系统因为能提供立体感和交互性的全新视觉体验，具有广泛的应用前景，然而海量多视点视频的高效压缩和有效计算问题是其推广应用急需解决的关键性难点问题。传统多视点视频编码方法主要基于信息理论，消除时、空、视域的相关性，需要挖掘区域选择性视觉冗余提升压缩效果与效率。本项目将首先分析并利用立体视觉与单眼视觉的视知觉差异性，通过主观立体实验分析和统计模型计算相结合的方式，研究人类立体视知觉中特有的立体视觉注意及其视觉敏感度特性，建立立体视觉注意和立体视觉敏感度模型；然后，以此模型为基础，研究将信息论与人类立体视觉中的区域选择特性及其视觉冗余原理相结合的高效多视点视频编码理论，提出基于区域选择性视觉冗余的量化与率失真优化模型，可伸缩性多视点编码以及动态计算量分配模型，通过挖掘区域选择性立体视觉冗余，有效地提高多视点视频压缩效率和效果，提升媒体计算效率。

三维视频系统能提供立体感、视点交互性等全新视觉体验，是未来视频系统发展的方向；立体/多视点视频编码技术是其走向应用的关键。传统多视点视频编码方法主要基于信息理论，消除时、空、视域的相关性，需要进一步挖掘视觉等冗余提升压缩效果与效率。本项目从研究3D立体视觉和3D虚拟视点绘制机理等因素出发，设计主、客观实验分析，建立了人眼视觉注意计算模型以及视觉敏感度模型；然后，以视觉机理模型为基础，研究将信息论与人类立体视觉中的区域选择特性及其视觉冗余原理相结合的高效多视点视频编码理论，提出了面向高效多视点视频码率控制与优化技术，基于区域选择和绘制冗余的码率分配系列方法，高效的多视点深度视频编码方法以及低复杂多视点视频与深度编码方法等，有效提高编码效率与编码重构图像的主客观质量，降低了编解码系统的计算复杂度。.本项目组已在IEEE Transactions on Image Processing（4篇）、IEEE Transactions on Industrial Electronics（1篇）、IEEE Transactions on Broadcasting（3篇）、Signal Processing Image Communication（1篇）、Signal Processing（1篇）、Journal of Real-Time Image Processing（1篇）、Multimedia Tools and Applications（1篇）、IET Computer Vision（1篇）、电子与信息学报（1篇）等本领域国内外代表性学术期刊或国际会议发表(录用)学术论文20篇，其中，SCI 期刊论文13篇，ICASSP、 ICIP、PCM等EI 会议与期刊论文6篇，书本章节一章；申请发明专利6项。安排了成员参加国际会议3次、并邀请3位境外专家来华学术交流。课题组如期顺利完成研究任务。