多视点视频的高维联合稀疏表示与编码研究

多视点视频技术在医疗、军事、影视等领域有着广泛的应用前景，而编码是支撑这些应用的关键技术之一。基于二维（时间维与视角维）预测结构的编码框架难以充分利用信号的高维联合相关性，多视点视频的数据量对存储和传输仍然是很大的挑战。本项目利用信号稀疏表示理论，以去除多信号的高维联合相关为切入点，研究多视点视频编码的新框架与新方法。主要内容包括：研究多视点视频的低维流形结构，进而构建高维联合相关模型；建立高维联合稀疏表示模型，并针对单一稀疏变换矩阵适应性不足的问题，设计基于图像特征分类的稀疏变换矩阵；探索稀疏量化失真与重构失真的内在相关联系，揭示码率与稀疏度的映射关系，并研究稀疏系数的结构化以实现高效的编码方案。本项目中针对多视点视频高维联合稀疏表示的研究可以进行更一般的推广，从而完善信号稀疏表示理论，所构建的编码新框架经充分发展后可突破多视点视频数据量对实际应用的约束，具有重要的理论意义与实用价值。

多视点视频技术在医疗、军事、影视等领域有着广泛的应用前景，而编码是支撑这些应用的关键技术之一。基于二维（时间维与视角维）预测结构的编码框架难以充分利用信号的高维联合相关性，多视点视频的数据量对存储和传输仍然是很大的挑战。本项目利用信号稀疏表示理论，以去除多信号的高维联合相关为切入点，研究多视点视频编码的新框架与新方法，构建多视频视频的采集、处理以及压缩平台。本项目研究了多视点视频的高维联合相关模型，引入视觉注意模型，以高效去除空时冗余和视角冗余之外的视觉冗余。我们搭建两种立体视频采集系统，在构建系统的过程中遇到了图像噪声复杂，深度图降质严重两个问题。为此，我们提出了基于稀疏表示理论的信号相关噪声水平估计方法，显著提升信号相关噪声水平的估计精度；提出了深度的自回归表示模型以及高效恢复方法，在恢复高分辨率深度图方面获得了文献中最好的精度。此外，我们还探索了立体图像与视频的高效分割，为更高效的多视点视频编码提供新工具。