视觉感知双目融合建模及立体图像质量评价方法研究

In recent years, under the impetus of the entertainment industry and scientific applications, three-dimensional images have become a research hot topic in the field of computer vision. Objective methods of image quality assessment for stereoscopic images can not only be used to measure the distortion degree in the procedure of coding, transmission and processing, and but also judge the clarity and real experience of stereoscopic display device, which has the important theoretical significance and application value. In this project, we aim to solve the problem of full reference and no reference quality assessment for three-dimensional (3D) images, and firstly analyze and understand the mechanism of human binocular vision system, and then simulate and model the binocular fusion procedure of human visual perception by complex contourlet transform and divisive normalization transform, to extract and estimate the characteristics of 3D visual perception from stereoscopic images, and then construct a class of full reference stereoscopic image quality assessment model based on binocular vision fusion and visual importance, and a class of no reference 3D images quality assessment based on the characteristics of 3D visual perception and deep ensemble learning, and another kind of completely blind stereoscopic images quality assessment method, and finally develop an effective 3D image quality assessment system based 3D analysis and modeling. Prospective achievement will be better used to improve 3D image processing systems, 3D TV, 3D movies, 3D games and other fields, and promote the application and development of the stereo images industry in the human actual manufacture and daily life.

近年来，在娱乐行业和科学应用的推动下，立体图像已成为计算机视觉领域的研究热点。立体图像质量客观评价方法，可用于度量立体图像在编码、传输及处理过程中的损失程度，而且可用来评判立体显示设备的清晰度以及真实感，具有重要的理论意义和应用价值。本项目以解决立体图像质量全参考和无参考评价问题为目标，从分析和理解人类视觉系统的机理出发，通过复数轮廓波和分离归一化变换建模人类视觉感知双目融合过程，准确提取和估计立体图像对的3D视觉感知特征，构建基于视觉双目融合和视觉重要性的立体图像质量全参考评价模型，基于3D视觉感知特征和深度集成学习的立体图像质量无参考评价方法，以及全盲的立体图像质量评价方法，实现真正3D分析和建模的立体图像质量评价系统。预期成果将更好地促进及应用于立体图像处理系统、3D电视、3D电影、3D游戏等领域，推动立体影像产业在人类实际生产生活中的应用和发展。

近年来，在娱乐行业和科学应用的推动下，立体图像已成为计算机视觉领域的研究热点。立体图像质量客观评价方法，可用于度量立体图像在编码、传输及处理过程中的损失程度，而且可用来评判立体显示设备的清晰度以及真实感，具有重要的理论意义和应用价值。本项目主要研究了人类视觉感知双目融合建模与特征提取方法、全参考和无参考立体图像质量评价模型。通过复数轮廓波、四元数小波变换和分离归一化变换建模人类视觉感知双目融合过程，挖掘提取了频域尺度内子带系数能量、尺度间子带系数能量差、尺度间像素统计关系、幅值和相位的局部相似度、空域自然场景统计、视觉不适度估计等质量感知特征。联合四元数小波变换分解子带的幅值和相位的局部相似度，构建了一种四元数小波变换的全参考图像质量评价方法。提出了联合学习复数轮廓波特征和空域特征的无参考立体图像质量评价方法、四元数小波变换优化单目图的无参考立体图像质量评价方法、通过四元数小波变换在色度图像、亮度图像、独眼图和视差图上提取质量感知特征，提出了基于异质集成学习的无参考立体图像质量评价方法。通过研究深度学习模型，提出一种卷积神经网络与深度回归森林结合的无参考图像质量评价方法、一种融合3D视觉显著性结合深度卷积神经网络的无参考立体图像质量评价方法。在全盲图像质量评价方面，提出一种基于轮廓波能量统计的全盲的图像质量评价方法。全参考和无参考立体图像质量评价方法，都与人类视觉感知表现出高度的线性一致性，取得国际上竞争性的结果。成果将更好地促进及应用于立体图像处理系统、3D电视、3D电影、3D游戏等领域，推动立体影像产业在人类实际生产生活中的应用和发展。