基于统计分析的图像质量评价及应用技术研究

Screen content images/videos have widely invaded into our daily lives and its relevant researches and technologies have also been highly concerned from academic and industrial circles, which makes screen content images/videos one of the hottest research topics in recent years. As typical screen content images, webpages displayed on computer/mobile clients are currently the major way for information acquisition. It is very important to obtain high-quality screen content images and thus to provide clear visualized contents. Full-reference and no-reference quality assessment models proposed in our previous works have achieved high correlation with human perceptions. However, the full-reference quality model performs invalidly for semantic distortions, such as packet loss during transmission, and the no-reference quality model is not good at hybrid distortions, such as compression. To address these problems, this project mainly includes the following expectations: 1) constructing publicly available databases of semantically distorted and multiply distorted screen content images and labeling the ground-truth quality scores for each image; 2) proposing reliable full-reference and no-reference quality metrics from the viewpoints of psychological perception and signal processing and/or using the statistical characteristics of screen content images based on big data; 3) developing robust adaptive screen content image enhancement algorithms via quality model-based optimization. This project will facilitate to guarantee and improve the quality of screen content images, for the purpose of providing more comfortable visual experience and more comprehensive newsletter information, and therefore further promoting the practical utility of pattern recognition and multimedia.

屏幕图像/视频已广泛应用于人们日常生活中，与其相关的研究和技术也引起了学术和工业界的高度关注，是近些年最热门的研究课题之一。作为屏幕图像的典型代表，通过电脑/移动客户端显示的网页是当下人们获取信息的主要渠道。获得高质量的屏幕图像，提供更清晰的可视内容，具有非常重要的意义和价值。前期研究中的全参考和无参考质量评价模型取得了和人眼感知较高的一致性，但全参考模型对语义失真（如传输丢包）效果欠佳，无参考模型对混合失真（如压缩）性能较差。针对上述问题，本项目预期完成如下内容：1）建立包含语义失真和混合失真屏幕图像和主观质量标定的开放数据库；2）基于心理感知和信号处理知识及大数据上获得的统计结果，提出可靠的屏幕图像质量评价准则；3）基于评价准则设计自适应的屏幕图像增强算法。本项目成果将有助于保证并提高屏幕图像质量，为人们提供更舒适的视觉体验和更综合的时讯信息，进一步提升模式识别和多媒体研究的实用价值。

目以多媒体信号采集、特征提取和分析的图像质量评价及优化增强为核心，围绕热门的屏幕内容图像，在以下六个相关领域开展了较为深入和系统的研究。本项目首先建立了一个包含语义失真和混合失真的屏幕内容图像主观质量标定开放数据库，为图像质量客观全参考、半参考、稀疏参考和无参考评价算法提供性能测试公共平台；然后，先后研究了基于结构退化分析的屏幕内容图像质量全参考评价方法，通过系统融合图像全局结构和局部结构退化度估计图像质量；研究了基于感知预测的屏幕内容图像质量半参考评价方法，利用感知预测模型区分文本区域和插图区域并赋予不同权重，对预测残差进行加权平均估计图像质量分数；研究了基于宏观和微观结构融合的屏幕内容图像质量稀疏参考评价方法，通过提取和对比宏观和微观结构退化两个特征估计图像质量；研究了基于在线和离线大数据训练的无参考图像质量评价方法，分别利用在线学习获得松散分类器推测失真图像内容和利用离线学习视觉特征获得图像质量分数估计；最后，研究了基于全卷积网络的屏幕内容图像自适应增强方法，先对图像进行插图、文本和背景区域分割，再分别对不同区域进行增强并融合。通过上述研究，本项目建立了不同参考图像状态下的屏幕内容图像质量评价体系和对比度增强方法。在本项目资助下，已发表高水平的IEEE汇刊论文23篇（负责人一作/通讯发表22篇），其中一篇入选ESI高被引论文；获得授权国家发明专利2项；部分研究成果获得中外多位院士或IEEE Fellow的正面评价且获得产业初步应用。本项目负责人在过去三年中先后入选科睿唯安全球高被引科学家（北京工业大学信息学科首位）、北京市优秀青年人才、北京市青年海聚人才等，获得中国人工智能学会吴文俊人工智能优秀青年奖、中国图象图形学学会技术发明二等奖、中国自动化学会自动化与人工智能创新团队奖等。