基于视觉关注机制的全景视频质量评估研究

With the development of the immersive media technology, omnidirectional video service has been launched in many fields. Conducting quality evaluation research towards omnidirectional videos is a crucial step to benchmark and ensure the quality of omnidirectional video service. While the spherical viewing space of omnidirectional videos can enhance the interactive and immersive experience of users, it also challenges the quality evaluation research towards omnidirectional videos. First, this project deals with the spatial-temporal consistency issue between different subjects when watching a certain omnidirectional video, and proposes an attention-based viewing trajectory setting algorithm for the omnidirectional videos. A quality score screening process together with a method to determine the number of participants used in the experiment are also proposed to ensure the validity and accuracy of the subjective quality evaluation experiment. The outcome of this research can provide valuable guidance for investigating the visual quality perception of the human visual systems. Then, this project analyses the interactions between the visual attentional mechanism and the visual quality perception of omnidirectional videos. The influence of the display device on the video quality is also considered. A saliency-based objective quality metric for omnidirectional videos is proposed, which can function as a solid quality evaluation tool for omnidirectional video services.

随着沉浸式媒体技术的发展，全景视频业务在诸多领域迅速展开。开展全景视频的质量评估研究是评价和保障全景视频业务质量的重要环节。然而，全景视频特有的球面可视场景在给用户带来更好的交互式和沉浸式体验时，也给全景视频的质量评估研究带来挑战。首先，本课题针对全景视频主观质量评价中不同用户观看内容的时空一致性问题，从人类视觉系统的视觉关注机制出发，建立基于视觉关注机制的全景视频播放轨迹模型。同时，提出基于用户观看轨迹的主观评分筛选算法和基于用户主观评分相关性的实验人数充足性判断机制，从多方面保障主观质量评估实验的效度和精度，为研究人类视觉系统对全景视频的质量感知规律提供重要参考和经验。其次，本课题深入分析视觉关注机制与全景视频质量感知的关系，同时考虑终端显示设备对视频感知质量的影响，建立基于视觉关注机制的全景视频客观质量评估模型，为全景视频业务提供稳健的质量评估工具。

随着沉浸式媒体技术的发展，全景视频业务在诸多领域迅速展开。全景视频的质量评估研究是评价和保障全景视频业务质量的重要环节。全景视频在给用户带来更好的交互式和沉浸式体验时，其特有的视觉质量感知特征也给全景视频的质量评估带来了挑战。面向全景视频的质量评估问题，本课题首先搭建了全景视频的主观实验平台，该平台能够实现全景视频等沉浸式媒体的编码和自适应传输，模拟实际应用中编码和传输失真对全景视频感知质量的影响，为本课题的开展提供了保障。在该平台基础上，本课题针对全景视频主观质量评价中的用户观看时空一致性问题，通过开展对比实验量化分析了不同实验方法下的主观质量评估结果，确立了合理的主观评估实验方法，从多方面保障主观质量评估实验的效度和精度，为研究人类视觉系统对全景视频的质量感知规律提供重要参考和经验。其次，本课题分析了视觉关注机制在视觉质量感知中的作用，建立了基于视觉关注机制的全参考客观质量评估模型。同时，考虑视频时空分辨率对主观质量的影响，建立了考虑空域分辨率和帧率的视频感知质量评估模型。面向全景视频的流媒体业务，本课题分析了卡顿效应对全景视频主观质量的影响。针对全景视频特有的动态质量分界效应，提出了一种视口自适应的全景视频流质量评估算法，为全景视频业务提供稳健的质量评估工具。本课题还将研究对象从三自由度全景视频扩展到六自由度点云上，研究了点云几何与属性信息的编码和质量评估问题，为新兴沉浸式媒体的应用普及提供了基础。