面向多核DSP的实时视频并行编码关键技术研究

Currently, video surveillances have been widely used in every corner of industrial and agricultural production, national security, and everyday life. And high-definition video is required more and more urgent. How to take full advantage of multi-core DSP for real-time video coding becomes the focus of current video coding technology. Although the high-definition video coding standard has matured, its implementations on the multi-core DSP aren’t considered. And the performance of parallel video coding doesn’t achieve the desired result in practice. Inside, load balancing and bit-rate allocation among the multi-cores are two main challenges for improving the performance of parallel video coding. Therefore, this project will start from the video features and encoding data, with mining the important factors affecting load balancing and bit-rate allocation, and propose the practical description models for video complexity and coding complexity. And based on these proposed models, how to adjust the load balancing and bit-rate allocation reasonably on the resource constrained platform will be studied to improve the multi-core speedup ratio and the integral coding performance. The anticipated output of this project will expand the existing real-time video coding on the multi-core DSP in theory, and improve the coding speed and video coding efficiency on the multi-core DSP technically. It will be of great importance in formation of proprietary intellectual property rights, promoting the development of high-definition video applications, enhancing the social and economic benefits.

目前视频监控已渗透到工农业生产、国家安全和日常生活的各个角落，且高清视频的需求也越来越急迫。如何充分利用多核DSP实现实时视频编码成为当前视频编码研究的重点和难点。尽管高清视频编码标准业已成熟，但标准未考虑多核DSP下的实现问题。实际应用中视频并行编码性能并未达到预期效果，其中多核处理器间的负载平衡和码率分配是视频并行编码性能提升面临的两个主要难题。鉴于此，本项目将从视频特性和编码数据出发，挖掘影响负载均衡和码率分配的重要因素，建立面向多核DSP的视频复杂度和编码复杂度模型，并根据该模型进一步研究在资源受限平台上负载均衡算法和码率分配算法，以提高实时视频并行编码的多核加速比和整体编码性能。本项目的预期研究成果将从理论上扩充现有的多核DSP实时视频编码理论，从技术上提高视频编码速度、优化多核DSP视频编码效率，这对形成自主知识产权、推动高清视频应用发展、提升社会和经济效益都具有重要意义。

目前视频监控已渗透到工农业生产、国家安全和日常生活的各个角落，且高清视频的需求也越来越急迫。如何充分利用多核DSP实现实时视频编码成为当前视频编码研究的重点和难点。尽管高清视频编码标准业已成熟，但标准未考虑多核DSP下的实现问题，实际应用中视频并行编码性能并未达到预期效果。. 针对面向视频监控应用的多核DSP实时视频编码中，由于自然图像的随机特性和编码器的最优编码模式选择引起的负载不均衡以及由并行编码引入的码率分配误差大，制约多核DSP实时视频编码速度和性能提升的问题。本项目基于TI公司的多核DSP芯片C6678设计了HEVC条带并行编码器，给出了HEVC编码器在多核DSP上的存储空间分配策略，设计了基于分类缓存的CTU帧间编码参考数据空间方法和兼顾低延时和低存储开销的视频数据调度策略；实验结果表明，相比于CPU平台，所提出的基于多核DSP的编码器在编码性能损失0.93dB的基础上，获得了465倍的加速比。通过深入考察视频图像的纹理特征和运动特征，提出了基于Sobel算子的帧内纹理复杂度计算模型和基于编码参数的帧间编码复杂度预测模型；通过分析上述特征与最优编码模式选择和编码耗时之间的关系，提出了针对于多条带HEVC并行编码器的负载均衡算法，通过控制多核线程的计算负载来实现负载均衡，从而提升多条带HEVC并行编码器的编码加速比；实验结果表明，与现有均匀条带划分方法相比，提出的方法能够提升加速比9.23%左右，而编码的性能损失几乎可以忽略不计。通过分析编码质量与编码帧复杂度、CTU复杂度、码率分配间的关系，设计了基于区域划分的CTU级码率分配算法；实验结果表明，所提算法有效平滑了重建I帧和相邻帧之间的主观质量，相比于HM参考编码器中的R-Lambda模型，所提算法的客观重建质量平均提升了0.57dB。. 本项目从视频特性和编码数据出发，挖掘影响负载均衡和码率分配的重要因素，相关成果对提高视频编码速度、优化多核DSP视频编码效率、推动高清视频应用发展具有重要意义。