面向超高清视频编解码的高效存储技术研究

With the fast increase in resolution of video sequences and complexity of video coding, the memory bandwidth and space requirement has become one bottleneck for Ultra high definition video coding and decoding. Efficient memory architecture are studied in this project. First，efficient frame memory compression model is designed using local steering kernel density estimation based prediction, content-aware and Gaussian source rate distortion function based adaptive quantization method, adaptive order based dynamic Golomb Rice coding to reduce the memory bandwidth. Second, based on the visual salience model in compressed domain, perceptual Cache allocation strategy, Cache partitioning algorithm on thread level, Cache data structure, thread scheduling mechanism and state transition method are designed to improve the on-chip memory efficiency. Third, optimization of address mapping method for frame memory data in off-chip memory and hierarchical memory organization and controlling method with the integration of multi-mechanism for on-chip and off-chip memory are designed. Last, parallel-pipeline memory compression VLSI architecture is designed based on the wavefront parallel processing to improve the coding throughput. The proposed schemes will be efficient for resolving the memory bottlenecks for Ultra high definition video coding and decoding system. The corresponding outcome is expected to provide theoretical and technology basis for the spread and real-time application of new video coding standard HEVC and AVS2.

随着视频分辨率的迅速提高和编码复杂度的急剧增加，存储带宽和空间需求已经成为超高清视频编解码中亟待解决的主要瓶颈。本项目将研究面向超高清视频编解码的高效存储架构。首先，通过研究基于局部回归核密度估计的预测方法、基于内容感知和高斯信源率失真函数的自适应量化机制以及阶数自适应的动态哥伦布-莱斯编码方法，从而构建高效的参考帧存储压缩模型。其次，在构建压缩域视觉显著性模型的基础上，研究Cache感知分配策略、线程级Cache划分算法、Cache数据结构、线程调度机制和状态转换策略，从而实现基于视觉感知的片内缓存数据组织和管理机制。同时，优化帧存数据片外存储地址映射方式和多机制融合的片内外分级存储组织与控制技术。最后，研究基于波前编码模式的并行-流水存储压缩架构以提高编码吞吐率。本项目的研究将有望解决超高清视频编解码中的存储瓶颈，为促进视频编码标准HEVC和AVS2的推广和实时应用提供理论和技术基础。

为实现超高清视频编解码的实时应用，本项目围绕视频编解码中的高效存储技术，研究了参考帧存储压缩、视频编码算法优化、码率控制与率失真优化、VLSI实现架构等关键技术。1）提出了基于率失真理论的参考帧存储压缩模型，通过设计基于像素纹理的并行方向性预测模式和自适应量化机制来实现稳定的高数据压缩率，并应用动态阶数二进制/指数哥伦布莱斯编码方法来实现预测残差的高效编码，同时研究了基于单元组表的存储空间压缩结构来提高DRAM行缓存的利用率，有效减少了外部存储的带宽和功耗需求，所提出的参考帧存储压缩模型可以实现最高70.6%的数据压缩率，只造成0.04dB的图像质量损失。2）提出了基于视觉显著性的感知编码算法与基于深度学习的快速视频编码算法，实现了片内外视频存储数据的感知分配与高效处理，有效降低了访问带宽需求。首先提出了基于运动矢量多维特征和基于多尺度特征融合的视觉显著性检测模型，进而设计了基于视觉显著性的编码单元划分算法，实现了缓存数据的感知分配；同时提出了基于深度学习的帧内预测模式选择优化算法、样本自适应补偿算法和分像素插值滤波算法，进一步提高了视频编码效率。3）提出了GOP级、CTU级和帧级的码率控制模型与率失真优化模型，提高了片内外存储访问效率和编码率失真性能。首先，通过建立质量依赖模型，提出了GOP级和CTU级码率控制算法，在节省码率的同时提高了存储访问效率；同时，提出了基于关键帧和内容帧间依赖的帧级/子帧级率失真优化算法，提高了率失真性能；最后，提出基于最大变换系数量化级别的全零块检测算法，通过全零块的高效检测节省像素存储空间，进一步提高片内外存储访问效率。4）设计实现了存储压缩模型和视频编码模块的并行流水VLSI实现架构。首先设计实现了并行流水的有损参考帧存储压缩VLSI架构，一方面采用查找表结构来实现量化模块中对数函数和乘法器的功能，另一方面采用双压缩/解压器结构并行处理一个单元组中的两个处理单元；其次，实现了多并行高效环路滤波器和可重构复用分数像素插值滤波器硬件架构；最后，面向基于深度学习的编码优化算法，设计实现了基于块浮点和稀疏化算法的卷积神经网络加速器架构，通过基于像素块的片外存储管理和基于行缓冲区的片上输入缓存管理，保证数据高效连续传输，同时基于桶形移位的输出缓存管理策略，最小化写出延迟，降低了计算复杂度，提高了存储带宽利用率，满足超高清视频编解码实时要求。