基于感知与记忆模型的移动视频通信动态体验质量研究

The application of mobile video communication is a significant trend of multimedia technologies. Aiming at delivering high quality videos to mobile users, a key issue is to build a model of Quality of Experience (QoE) assessment that can be utilized as a criterion of optimization on mobile video communication. This model shall be dynamic due to the variety and complexity of scenarios of mobile video communication. To address this issue, this project will investigate the impacts of video sources, networks, terminals, users and contexts on QoE of mobile video communication, and develop models of joint QoE influence factors by fully exploring the characteristics of mobile videos. By combining human perception and memorization theories and subjective tests, we will model the impacts of user memories and expectations on his/her QoE, and more importantly, build the model of dynamic relationship between real-time and long-term QoEs, in order to achieve dynamic QoE assessment of mobile video communication. At the final stage of our project, we will explore the theoretical models and objectives of dynamic QoE optimizations on mobile video communication with the proposed dynamic QoE model. Compared with other studies, our project utilizes the interdisciplinary methodology of perception and memorization models and communication technologies to study the interactive influences of real-time and long-term QoEs, with a consideration of mobility, dynamics and real-time implementation. The research of our project is also widely instructive in video communications over other networks, non-real-time video transmission and voice transmission.

移动视频通信是多媒体技术的重要发展方向。为实现其高质量应用，核心问题之一是建立相应的体验质量评价模型，并将其作为指标以优化相关技术。考虑到移动视频通信场景的复杂多变特点，进行动态的体验质量研究尤为重要。为此，本项目将充分利用移动视频特性，探究源端、网络、终端和用户场景中多种因子对体验质量的作用关系，并实现其联合模型表示；深入结合人类感知记忆理论模型和主观测试方法，建立用户记忆与期望对体验质量的作用模型，重点交互研究实时和长期体验质量之间的动态关系模型，以构建移动视频通信动态体验质量研究体系；最后，基于上述体系对移动视频通信动态体验质量优化提供目标和理论模型支持。与传统研究相比，本项目注重与人类感知记忆的交叉学科方法，同时关注移动视频通信体验的移动性、实时性和动态性，着重研究实时和长期体验质量的交互作用关系。本项目对其它网络下的视频通信、非实时视频传输及语音传输等也具有广泛的理论指导意义。

当前，用户对于高质量媒体内容的需求日益增长，但系统资源包括存储与通信资源始终相对受限。针对移动视频通信相关技术持续深度优化，在有限系统资源下实现高效的移动视频通信体系，已成为多媒体通信领域的研究热点和难点。在此问题上，用户体验质量，或称QoE，已表现出日益重要的作用。.就此，本项目以移动视频通信中的QoE为着眼点，开展以下三部分研究：针对视频通信特别是移动视频通信中的QoE要素做出定性及定量分析，构建影响因子模型，作为项目的研究基础；以用户长短期记忆为辅助，构建动态的QoE模型，对移动视频通信体验质量做出评估，作为项目的核心内容；以用户感知和QoE为推动，实现图像/视频处理、编码与通信的算法优化，作为项目的应用扩展。.在相关研究中，项目组先后构建了多种要素对移动视频通信QoE影响的数据库，基于不同年龄用户的长期记忆影响的QoE数据库，面向视频质量波动的短期记忆影响QoE数据库，并形成相关模型加以测试，算法性能普遍超过现有方法。同时，以用户感知QoE为指导和指标，项目组完成了相关图像/视频处理、编码和传输的优化工作，并在触觉这种新型媒体形式上做了推广。相关研究同时揭示了一些重要的客观规律，比如长短期记忆的线性QoE作用、可察知视频压缩效应对于QoE的关键影响、多次下采样并插值导致的用户体验分数负指数下降规律等等，为构建特色算法提供了关键指导。.当前5G时代方兴未艾，辅助推动了更具有沉浸式和真实感的视频内容发展，给未来的多媒体通信带来了更加丰富的前景，同时也将继续培育用户对视频质量的高要求。在此背景下，上述难题仍然存在，因此针对QoE的研究仍然具有重要意义。针对其的评测与优化，有助于形成以用户为中心的移动视频通信体系，满足更多用户对于高质量视频内容的需求，具有广泛的科学意义和应用前景。