可伸缩视频编码多目标分辨率率失真优化方法研究

可伸缩视频编码能够为不同网络传输条件或用户需求的多媒体应用提供灵活的解决方案，是视频编码的发展方向。率失真优化是提高可伸缩视频编码效率的根本途径之一，也是可伸缩视频编码能够在实际多分辨率场景中获得有效应用的保证。本项目将针对时、空、质量域内多目标分辨率的组合，研究整体主观质量最优的可伸缩视频编码的率失真优化方法。具体研究首先针对可伸缩视频编码在不同域的多目标分辨率特性，研究时、空、质量域联合多目标分辨率率失真模型。基于此模型研究多目标分辨率下拉格朗日因子的求解。进而将上述理论成果应用于常用的基于分级B帧时域预测结构的可伸缩视频编码框架下，针对分级B帧时域预测结构研究分级量化和参考帧质量级别选择的率失真优化，从而给出实用的符合人眼视觉感知的多目标分辨率率失真优化方法。本项目旨在从理论上解决可伸缩视频编码过程中多目标分辨率的联合率失真优化问题，同时注重理论成果的实用化研究。

随着网络技术、存储介质和设备计算能力的不断发展，各式各样的视频应用不断涌现。不同种类的应用往往对应了不同的网络传输条件和用户端分辨率。可伸缩视频编码(SVC)能够为不同网络传输条件或用户需求的多媒体应用提供灵活的解决方案，已成为了视频编码的重要研究和发展方向。SVC的编码框架已较为成熟，因此率失真优化是提高SVC编码效率的根本途径之一，也是SVC能够在实际多分辨率场景中获得有效应用的保证。. 本课题针对可伸缩视频多目标分辨率的特点，研究整体主观质量最优的可伸缩视频编码的率失真优化方法。课题从质量域出发，扩展到时间-空间-质量域多目标分辨率联合，进而考虑SVC的层间依赖性，研究了相应的视频编码速率模型和符合人眼感知的视频质量（失真）模型，验证了相应率失真模型的精度。根据提出的多域联合率失真模型，推导出适用于SVC多目标分辨率的拉格朗日因子，并进行相应的拉格朗日优化。实验结果表明，相比于现有公认的可伸缩视频编解码参考软件JSVM，所提出的优化方法很好的利用了SVC中的依赖性，在多目标比特率下，特别是在低比特率，有效地提高了SVC的率失真性能。此外，在上述研究的基础上，将提出的考虑可伸缩视频层间依赖性率失真模型解决主观质量最优的可伸缩视频码流提取问题。. 课题按计划顺利开展，取得了丰厚的研究成果。目前共发表期刊论文21篇，其中SCI论文12篇，包括视频技术领域最权威期刊之一IEEE trans. on CSVT，及IEEE Communication Magzine, IEEE Journal of Selected Topics in Signal Processing等高影响因子期刊。发表国际会议论文8篇，所有会议论文均为EI检索。参加包括多媒体技术领域重要国际会议ICME、视频技术领域重要国际会议VCIP在内的多个国际会议，并做口头报告。完成译著1本，本书是受视频技术领域泰斗专家K.R. Rao教授委托翻译其最新著作（将于2013年2月出版）。开展了实质性的国际交流与合作，与国外研究团队互访，合作发表高水平论文。相关研究成果已转化应用于华为公司的IPTV产品，获得授权专利3项。. 本课题的开展为后续研究奠定了良好基础。目前视频应用的发展趋势是高清化、网络化和立体化。进一步研究拟就三者的结合点入手，探寻高清视频和立体视频的网络传输及优化问题。