基于感知质量优化的多视点视频无线传输失真建模和资源分配

An ever increasing demand for wireless access to three-dimensional (3-D) image and video contents over the last few years has sparked numerous research efforts in stereoscopic imaging technology for next generation information technology. Multi-view video contents have received much attention as they tremendously enhance the user's viewing experience. Owing to the massive amount of data involved extensive processing requirements and vulnerability to transmission errors, multi-view video transmission over wireless networks presents multiple research challenges. This project focuses on the transmission of multi-view stereo video over wireless networks. Key theory and technology of the mathematical metrics of the perceptive quality of the multi-view video, the wireless transmission distortion, and the resource allocation for multisession video streaming will be the major research subject. Firstly, image quality metrics and depth quality metrics can be extracted through the analysis of the perceptive feature of multi-view stereoscopic video. Based on these metrics, the mathematical metrics of perceptive quality will be proposed to illustrate the extent of the damage on the perceptive quality of multi-view video caused by the processing and transmission technology. Furthermore, distortion estimation model of multi-view video over wireless networks conform with the feature of 3D vision perception which is based on the above mathematical metrics of the perceptive quality will be established to direct the transmission of the multi-view video over wireless network. Finally, based on distortion estimation model of multi-view video over wireless networks, optimal allocation of resources will be researched in order to solve the problem of multisession video streaming competition of multi-view video stream transmission over wireless multi-hop networks which is lack of centralized control.

多视点立体视频技术近年来迅速崛起和发展。由于多视点立体视频巨大的数据量、复杂的处理要求和对信道错误的敏感性，在无线网络上传输多视点视频的业务面临着新的问题和挑战。项目围绕无线网络中的多视点立体视频传输，重点突破多视点立体视频的感知质量的数学度量、无线网络传输失真估计以及面向多流竞争的资源分配研究中的关键理论和技术。首先通过分析多视点立体视频感知特征，提取图像质量度量参数和深度质量度量参数，从而提出感知质量的数学度量指标，用来说明处理、传输技术对多视点视频感知质量的损伤程度；以所提出的多视点立体视频感知质量数学度量指标作为视频失真的计算依据，建立符合立体视觉感知特性的无线网络多视点视频失真估计模型，用于指导多视点视频在无线网络中的传输；最后，针对无线多跳网络中多视点视频流传输的多流竞争问题，在无线网络传输失真估计模型的基础上，研究缺乏集中控制的无线多跳网络中多视点视频传输资源优化分配问题。

多视点立体视频技术以其宽视角视觉信息输出和适应观察者连续环视等优势而受到广泛关注。但多视点立体视频所需的奠基技术系统，如巨大的数据存储空间、复杂的信号处理系统和抗噪性较高的沟通信道等也一定程度上局限了基于无线网络的多视点视频传输业务的扩展。本项目围绕无线网络中的多视点立体视频传输问题，重点突破多视点立体视频感知质量的数学度量、无线网络传输失真估计以及面向多流竞争的资源分配研究中的关键理论和技术。.视觉信息输出质量是资源分配方案的重要参考，实现既定条件下的视觉信息的最优感知质量输出也是系统资源调度的最终目的。为了优化资源分配，使得系统综合服务的结果更加契合于人类的主观感受，本课题组提出一种基于立体视觉信息的感知（显著性检测）模型的图像/视频质量度量与参数估计系统。本课题融合了基于前景和背景优化和基于随机森林学习的RGB-D视觉内容感知算法。经测试，算法分析准确，适用范围广。可将内容分析结果引入到质量评价体系中，模拟人的主观评价机制，并以此为重要参考规划资源调度方案。..为度量无线网络传输系统的可靠性，评价视频传输系统的底层条件优劣，本课题从典型的包交换网络视频通信系统出发，分析了多视点视频的传输失真与IP网络中的端到端错误之间的关系，将IP网络中端到端的丢包模式纳入到具有普适性的丢包模型中，并基于这种丢包模型提出多视点立体视频通信失真的统一研究框架。主要研究了全像素/亚像素运动估计/视差估计两种模式下的失真估计、帧内预测模式下的失真估计、采用去快效应滤波器预测模式下的失真估计、帧级和GGoP级地柜预测模型等主要问题。通过实验验证，所提出的分析方法给出的估计结果很好地拟合了测量结果和观察者的主观评价。..为解决在多元多视点竞争接入的情况下的网络视频传输的问题。本课题组对网络的分组丢失概率进行估计，提取表征输入信元和传输路径特性的网络特征量，考察每个视频流速流的变异情况，分析和模拟多视点视频沿着无线多跳路径传输的队列行为，通过多视点视频无线网络传输失真模型预测多跳传输后质量下降的程度。研究内容主要包括：多竞争下的最优传输、多流竞争下的资源分配及可靠传输、多视点视频传输网络的错误掩盖策略等几个关键问题。实验结果表明，所提出方法支持准确的错误预测和可靠的错误掩盖，对理论研究和工程应用都有很大的意义。