基于贝叶斯理论和深度学习的立体图像质量评价

Due to the stereo image can reproduce the three-dimensional information of the scene, which is the direction and trend of the new generation of multimedia technology. However, it is difficult to avoid image distortions in the links of acquisition, coding，and transmission, which seriously impedes the generalize and popularization of stereo products. Therefore, it is of great theoretical significance and application to establish an objective assessment mechanism of stereo image quality that can accurately reflect the subjective perception of human visual system (HVS)..In this project, we intend to take the information processing mechanism of HVS as the entry point to explore stereo image quality assessment （SIQA） methods. By studying the mechanisms of binocular fusion, binocular rivalry and binocular summation/difference channels theory, we design a cyclopean model based on Bayesian theory. On this basis, by deeply analyzing the subjective perception process of stereo image, the visual characteristics of HVS are used as prior knowledge to design the deep learning network structure with the aid of labeled data, and construct blind SIQA model driven by cognition and perception..Research results hope to make breakthroughs and innovations in the basic theory and application technology of SIQA. Meanwhile, it provides a benchmark for the optimization of stereo image/video encoding and decoding algorithm, as well as promoting the development of 3DTV technology and related industries in China.

立体图像能够再现场景的三维信息，是新一代多媒体技术的发展方向和趋势。然而，立体图像在采集、编码及传输等环节难免会引入一些失真，立体图像质量的失真已成为立体产品推广和普及的重要制约因素之一。因此，建立一套可以准确反映人眼主观感知的立体图像质量客观评价机制具有重要的理论意义和应用价值。.本项目拟以人类视觉系统的信息处理机制为切入点，研究人眼的双目融合、双目竞争及分离去耦合双通道信息处理机制，构建基于贝叶斯理论的中央眼图模型。并在此基础上，通过深入分析立体图像质量主观感知过程，采用人眼视觉特性作为先验知识来设计深度学习网络结构，然后借助已标注数据来学习深度学习模型，构建基于认知与感知联合驱动深度学习的无参考立体图像质量评价模型。.项目研究预期成果将在立体图像质量评价基础理论和应用技术上有所突破和创新，为立体图像/视频编解码算法的优化提供基准，推进我国立体电视技术和相关产业的发展。

立体图像能更真实还原三维世界，是新一代沉浸式多媒体技术的未来发展方向。然而，立体图像在采集、压缩、储存、传输和显示等过程中不可避免的会产生降质现象，进而严重影响人们的立体视觉感受。因此，建立立体图像质量客观评价机制具有重要理论价值和深远意义。 . 本项目围绕立体图像质量评价的根本任务和核心问题，以人眼视觉特性研究为切入点，探索联合中央眼理论、分离去耦合双通道视觉信息工作机制及深度学习理论解决无参考立体图像质量评价问题。在项目执行过程种，本项目构建了立体视频舒适度评价数据集3DVID数据集，该数据集是目前规模最大的3D视频舒适度估计数据集，将为立体视频舒适度的优化和推广提供数据支撑和主观评价基准。在立体图像质量评价算法方法，本项目提出了一种基于空间域和梯度域特征聚合的半参考立体图像质量评价算法，该算法联合了互补自然场景统计特性和人眼视觉特性，同时，提出了一种在增强梯度域的局部结构提取算子，实验结果表明，提出的算法胜过当前存在的大部分全参考和半参考的立体图像质量评价方法。随着研究的深入，我们也提出了一种基于梯度稀释表示和结构退化的半参考立体图像质量评价算法，该算法首次提出了用梯度图像训练字典相比于图像本身获得的字典更稀释，实验结果也表明提出的方法优于当前存在的许多经典的立体图像质量评价算法。在研究深度学习技术的过程时，本项目也深入研究了图像超分辨重建，分别提出了2种单图像超分辨重建算法和3种偏振图像超分辨重建算法，实验结果也表明提出的方法优于当前存在的方法。.总之，在项目执行期间，发表了高水平学术论文10篇，其中SCI收录4篇，EI收录6篇；培养了在读硕士研究生5名。所发表得学术论文，受到广大同行的广泛关注和认可。