超高清视频处理加速器研究

Recently, ultra high definition videos (UHDV) and images have been widely applied in digital cinema, digital home entertainment, cloud platform, virtual reality, multimedia exhibition, and so on. The UHDV processing has high performance and energy requirements on hardware platform. The effective parallelisms are necessary for real-time application. However, various UHDV processing algorithms and applications exhibit parallelism in obvious multi-levels, multi-types, and variations. Currently, the processors including CPU, DSP, GPGPU, provide fixed hardwired parallelism. The vast gap between video applications and hardware parallelism, leads to the low video processing performance on current processors..Based on the analysis of processors architecture and video trends, we believe that only the many-core accelerator with reconfigurable hardwired parallelism could bridge the gap between various video application and hardware parallelism. This project intends to study the ultra high-definition video processing accelerator with multi-level dynamic reconfigurable hardwired parallelism, and explore the theory and principle of computation reuse and memory access reuse under multi-level parallelisms. Finally, a high-performance and low-power accelerator for UHDV applications under different scence would be provided, which targets on the design and application of the home-made processors.

近年来，超高清视频已逐渐成为数字电影、数字家庭、云平台、虚拟现实、多媒体舞台/展馆等多媒体应用的主流。超高清视频处理对硬件平台性能和能效需求非常高，必须通过有效的并行来满足。各种各样的超高清视频处理应用内在的并行性呈现出显著的多层次、多元化、多变性特点，而现有的处理器（如CPU、DSP和GPGPU）提供的硬件并行度是固化的。多变的应用并行度和固化的硬件并行度之间存在巨大的鸿沟，导致各种现有处理器处理超高清视频时效率低下。.综合对体系结构和应用发展趋势的分析，我们认为，硬件并行度动态可重构的加速器才能有效地跨越多变的应用并行度和固化的硬件并行度之间存在的巨大鸿沟。因此，本项目将深入探索多层次并行度动态可变的加速器结构，以及可变并行度下的计算重用和访存重用的原理和方法。基于这一系列研究，我们将提供一种能应对多种超高清视频应用场景的高性能低能耗的加速器参考结构，为国内外同行提供借鉴。

随着超清视频应用的快速演进，多变的应用并行度和固化的硬件并行度之间存在巨大的鸿沟。本项目针对超清视频处理中多层次、多元化、多变性并行的特点，提出设计支持多层次可变并行度的高能效的加速器结构，研究多层次可变并行度下的计算重用性和访存重用性，最终形成一套并行度动态可变的加速器的参考设计。. 基于上述思想，本项目完成了以下工作：1. 研究了当前视频处理中常用的主流机器学习算法的计算和访存重用性，提炼了共性的计算和访存模式。2.为了提高常用算法在加速器上的处理效率，提出了算法加速优化方法。3.为了减少计算量和访存量，设计了软硬件联合优化方法来解决稀疏神经网络的不规则性问题，可以有效提高加速器的性能及能效。4. 基于上述工作，设计了高能效的层次化的加速器结构，在不同层次上使用相同的机器学习指令集架构，不仅可以高效编程来灵活支持不同规模和并行度的应用，还可以提高处理性能。. 在项目执行过程中，项目组共发表论文22篇（包括14篇SCI论文，8篇EI论文），其中CCF A类领域顶级会议/期刊论文9篇（1 ISCA、1 MICRO、1 AAAI；3篇 IEEE Transactions on Computers、2篇IEEE Trans. on Computer-Aided Design of Integrated Circuits and Systems、1篇ACM Transactions on Computer Systems）；申请发明专利10项；并出版教材1本。