基于深度学习的四元数小波彩色图像质量评价及其应用

Image quality assessment (IQA), the purpose of which is to seek an objective IQA method to be consistent with the subjective vision, is one of most active areas of recent researches in image engineering. As a type of very important feature of the human visual system(HVS), the color information plays its own irreplaceable role in a color IQA method. The research results of neuroscience show that knowledge of these color-luminance relationships is built into the machinery of the human visual system. However，most of the existing color IQA methods perform strategy separating chrominance with luminance components, which simplifies the non-linear multilayer correlation between image visual features. In this project, we adopt a quaternion framework since it offers the scope to process color imges holistically, rather than as separate color space components, and thereby handeles the coupling between the color channels naturally. More specifically, we will design both full-reference and no-reference IQA models and algorithms based quaternion and some related theories under the framework of deep learning. Our main work includes three aspects as follows. First, after representing a color image with a pure quaternion, we will construct a deep convolution network architecture with quaternion wavelets(QW) transform to design color models and algorithm, which is both an important issue and a highlight of this project. Second, after representing a gray image with a quaternion based two dimensional Hilbert transform, we will propose IQA method based on a deep learning framework by emploring some theories of quaternion, such as quaternion matrix singular value decomposition, principal component analysis, QW, et al.. Finally, the proposed color IQA methods will be used for color image processing and pattern recognition, such as filtering and classification, et al.. In a word, we hope to obtain IQA methods with a clear physical meaning, a reliable mathematical theory, a simple and efficient computation, as well as a general application for different types of distortion.

图像质量评价(IQA)是当前图像工程一个非常活跃的研究领域，其本质是寻求符合于人的主观视觉的客观IQA方法。颜色信息作为十分重要的视觉特征之一，对于构建彩色IQA方法具有举足轻重的意义。已有的彩色IQA方法大多采用色度和亮度分离策略，过于简化了它们之间复杂的多层非线性相关性。本项目拟采用系统研究的理念，利用四元数及其相关理论设计深度学习框架下的全参考型和无参考型彩色IQA模型和算法。主要内容包括：1、利用纯四元数表示彩色图像，构建基于深度学习的四元数小波(QW)彩色IQA模型和算法，这也是本项目的研究重点和亮点。2、利用Hilbert变换构造灰度图像的四元数表示，利用四元数矩阵的奇异值分解、主成分分析、QW等理论，构建深度学习的灰度图像IQA方法；3、将新的彩色IQA方法应用于彩色图像滤波、分类等问题。本项目有望获得物理意义清晰、数学理论可靠、计算简单有效、适合于不同失真类型的IQA方法。

图像质量评价(IQA)是当前图像工程一个非常活跃的研究领域，其本质是寻求符合于人的主观视觉的客观IQA方法。本项目重点通过梯度、纹理、颜色等低层次特征和不同的池化策略，研究了灰度图像的全参考和无参考IQA方法，几类彩色IQA方法，以及基于宽度学习的IQA方法。.第一、针对灰度图像，主要有3方面工作。我们提出了一种广义梯度加权的提升的结构相似度(GWL-SSIM )IQA模型；在 6 个公开数据库中进行数值实验的结果表明 GWL-SSIM 算法计算效率高, 并取得了与目前流行算法相当的评价效果。针对不同算法提取的局部特征，利用广义平均的非线性性质，提出了２种池化策略，以提高结构相似度(SSIM )，梯度结构相似度 (G-SSIM )，特征相似度指标 (FSIM )的评价能力。尤其重要的，我们提出了基于两种低层特征分布的无参考IQA方法；不同于深度学习的方法，新方法参数少、模型简单、效率高、鲁棒性强；在LIVE，CISQ，MICT 和 TID2008 四个标准数据库上针对五种失真类型（JPEG-2000，JPEG，WN，GB）分别进行大量的实验，以及与目前流行的全参考、无参考以及深度学习的方法相比，展现了新方法优越的评价性能和较强的泛化能力。.第二、针对彩色图像，提出了5方面工作。在不同的视觉彩色空间中考虑图像的色度相似性, 从而将GWL-SSIM算法扩展到彩色图像, 得到GWL-SSIMc。采用２种广义平均池化策略来刻画人的视觉系统特性，以提高 C-SSIM 、C-GSSIM及彩色图像的特征相似性( C-FSIM )的评价效果。通过去彩色化处理技术设计了一种维数缩减的彩色图像质量评价模型。将参考图像与失真图像转换为四元数矩阵，构造四元数谱余量方法检测两幅图像的视觉显著性，而后与四元数梯度特征结合，构造四元数谱余量的彩色图像质量评价模型QSR-SIM。利用4个低层特征，提出了极限学习机回归的全参考彩色图像质量评价方法。.第三、提出一种基于模糊宽度学习理论的彩色图像质量评价方法，通过训练能反映彩色图像失真的特征，训练模型对待测图像进行评分。.第四、其它方面的工作，包括图像分割、多尺度多项式配点法、极限学习机类不平衡数据学习算法、非局部梯度图像质量评价等。