三维视频处理系统芯片动态可重构可编程体系结构研究

3D video processing is the key technology in real-time communication system of high definition video, which takes multi-view video compression coding as criteria. The coding and decoding of multi-view and high resolution video require high computing performance and programming flexibility for video processor. With the increasing density of chip integration, the red-wall issues, such as long-wire, power dissipation and process defect, challenge the architecture design. This project will study the application of 3D video, explore a novel AP architecture which accommodates the process development and support multiple video compression standards, such as MVC, H.264/AVC and AVS, also implements finegrained computing of massive parallel instruction stream and data stream, with massive homogenous, regular processor elements connected locally. We will investigate processing element architecture and its interconnect of array processor, the instruction set architecture and storage structure of array processor. The proposed architecture and its prototyping system can obtain both the flexibility of programming and high performance of ASIC/FPGA. The achievements will provide new direction for next-generation SoC architecture design, bring the development of emerging multi-media applications, such as free-view video, 3D TV, and virtual reality.

以多点视频压缩编码为代表的三维视频处理，是高清视频实时通信系统的关键技术。多视点和高分辨率编解码，对视频处理SoC的计算能力和编程灵活性提出了更高的要求。芯片集成度的提高，又使处理器体系结构设计面临长线、功耗与工艺缺陷等红墙问题。项目面向三维视频阵列SoC，尝试采用大量同构、规则处理器元邻接互连的思想，探索建立适应未来制造工艺发展的动态可重构可编程结构，不仅支持MVC、H.264/AVC和AVS等多种视频压缩标准，还可同时实现细粒度的大规模并行指令流计算（比特流解析、VLD等）和并行数据流计算（DCT、ME等）。研究处理器元及其互连结构、阵列处理器指令集架构和片上存储结构，预期提出的统一体系结构和开发的原型系统，既具有编程的灵活性又能通过重构达到ASIC/FPGA等专用硬件的性能。项目将为下一代片上系统体系结构研究提供新的思路，推动任意视点视频、三维电视和虚拟现实等新兴多媒体应用的发展。

项目通过对基于H.264的三维视频编码标准MVC和新一代高效视频编码标准HEVC的深入研究，针对典型三维视频编解码算法运算量巨大、实时性要求高、应用场景和性能要求多变，既有大量数据并行运算、还存在非数据并行运算，算法标准更新换代快的特点，研究了可编程、可重构的三维视频阵列处理器体系结构，具体内容包括：视频编解码标准与算法的研究分析和优化；新一代视频阵列处理器体系结构研究与探索；视频阵列处理器体系结构建模；视频阵列处理器存储结构研究和视频阵列处理器的原型系统开发等五个方面。. 研究中取得了三方面的重要成果：1、探索建立了可编程、可重构的视频阵列处理器体系结构。完成了面向多媒体应用的处理元PE设计，通过邻接寻址实现了基于指令流的功能重构；邻接互连的体系结构能够实现数据流驱动的工作模式，兼具了编程的灵活性和ASIC的性能。2、基于SystemC和VC建立了三维视频处理器体系结构仿真模型，不仅可以用于体系结构的优化研究，还可以便捷实现视频编解码算法的编程与调试。3、基于BeeCube公司BEE4开发平台搭建了视频阵列处理器原型系统，采用4颗XC6VLX550T FPGA芯片完成了视频阵列处理器的硬件测试和H.264/HEVC等主流算法标准的并行映射。. 项目设计了支持30种32位指令、16位运算的轻核处理元，占用Virtex6系列FPGA中1242个逻辑资源。完成了由8×8个处理元簇（PEG）通过路由器链接为二维网络阵列结构，每个PEG由邻接互连的4×4个PE组成，每个路由器提供5个9.6Gbit/s的输入和输出接口，实现了基于BEE4平台（FPGA为XC6VLX550T）的1024个PE的阵列处理器原型系统，电路规模为500多万门，工作频率为100.261MHz，功耗约为7.6W。. 项目全面实现了预期研究目标，超额完成发表学术论文、申请国家发明专利等任务。发表学术论文43篇，其中SCI检索4篇、EI检索12篇；申请国家发明专利14项，授权2项。培养硕士研究生13人，博士研究生3人。大规模轻核处理单元邻接互连结构和可编程可重构机制为后摩尔时代高效能计算体系结构发展提供了重要参考，为三维视频编解码等多媒体应用提供了有效途径。