深度图获取及超分辨率算法研究

With the rapid development of stereo video technology, our audio-visual experience will gradually enter the "three-dimensional" era. The quality of stereo video highly depends on the accuracy of depth image, which is a great challenge for depth acquisition and reconstruction with high accuracy under different scene record manners. This project will study the rapid depth estimation for light field, the texture aided depth image super resolution, and single depth image super resolution. The detail contents are as follows. According to the epipolar geometry characteristics of light field, employing the linear relationship between the texture slope of epipolar image plane and depth information, study the depth estimation under the linear constraint of epipolar image plane, improving the accuracy of depth estimation. According to the structure consistency between aligned texture and depth image, design hybrid Gaussian depth image representation model, and study the texture aided depth image super resolution. For single depth image, design sparse representation oriented synthesis and analysis models, study dual sparsity based single depth image super resolution algorithm. The project will obtain the theoretical innovation and breakthrough, promoting the wide application of stereo video.

随着立体视频技术的飞速发展，人们的视听感受将逐步进入“立体化”时代。立体视频重建的质量主要取决于深度图的精度，这对深度图的准确获取与精确重建提出了很大的挑战。因此，不同场景记录方式下的深度图获取与精确重已成为一个迫切需要解决的核心问题。本项目将研究光场深度图像的快速估计、纹理辅助的深度图超分辨率、单幅深度图超分辨率算法。具体内容包括：针对光场图像的对极几何特性，利用对极平面图像纹理斜率与深度信息的线性关系，研究对极平面图像线性约束的光场深度图估计算法，提高深度估计的精度；针对对齐的纹理与深度图的结构一致性，设计基于混合高斯模型的深度表示模型，研究基于混合高斯模型的纹理辅助的深度图超分辨率算法，提高超分辨率深度图的精度；针对单幅深度图，分别设计面向稀疏表示的合成模型、分析模型，研究双稀疏先验的单幅深度图超分辨率算法。项目可取得理论创新与技术突破，促进立体视频的广泛应用。

针对图像分辨率受传感器限制导致分辨率不高、易受噪声影响以及低码率压缩容易造成块效应的特点，本项目围绕图像去噪、图像超分辨贺图像质量增强开展研究工作。具体内容包括：针对传统图像去噪方法在时间复杂度高、性能欠佳等缺点，提出一种基于可调节残差网络的图像去噪算法，通过级联可调节残差单元对原始图像的特征进行高效提取、传输和重建。利用可训练的调节参数自适应地平衡原始输入和当前单元输入之间的权重，尽可能保留高质量的特征。基于这种可训练、可调节残差的网络结构，我们的方法超越以往所有的传统算法，在客观和主观评价标准上都取得巨大成功。在图像超分辨率方面，我们提出了简单但是有效的快速图像超分辨率（super-resolution (SR)）方法，即基于聚类与协同表示（CCR）的图像SR算法。该方法是基于学习的，并且使用聚类和协同表示去得到多个映射矩阵。与其他方法对比起来，我们的方法在数值与视觉上都取得很好的效果，并且能使用更少量的映射矩阵加快速度。而且，聚类阶段学到的统计特性让我们能使用局部几何特性来恢复更好的细节。进一步，在图像质量增强方面，结合稀疏图的设计, 解决了深度图像重建的问题。在我们的方法中, 首先在一幅深度图像中聚类相似的图像块, 然后计算一个平均图像块。不同于一般的图傅里叶变换, 假设的仅具有垂直和水平边的4连通图结构, 我们根据深度图像块结构张量的差异选择了更一般的稀疏图结构和边权重。对于平均图像块, 设计了一个边缘与主梯度正交的图。最后, 从推导出的相关图中学习了基于图的变换字典进行信号表示。此外，通过组织和参加会议等学术活动，推动了图像质量增强的发展。研究成果包括发表论文16篇，其中SCI收录10篇，并授权了3项国家发明专利，获得国家科技进步术二等奖一项，获得环太平多媒体国际会议PCM2018最佳论文奖一项。