动态可重构处理器片上缓存管理关键技术研究

Dynamically reconfigurable computing processor is a parallel computing style, which has advantages in high flexibility and high energy efficiency, thereby increasingly becoming a new hot spot in the study of computing systems. However, the performance of dynamically reconfigurable computing processor is more and more clearly restrained by memory bandwidth bottlenecks of configuration context and operation data as the parallel computation ability increases unceasingly. Although on-chip cache has been employed to alleviate external memory bandwidth requirements, cache management technologies for dynamically reconfigurable computing processors exist obvious shortage, resulting in low cache utility and thereby greatly restricting computing power. A series of key technologies, such as the context-guided data cache prefetching mechanism based on template matching and access pattern detection, the data cache partitioning method eliminating overlap data and balancing access delay among reconfigurable arrays, the context cache prefetching mechanism for precise control of prefetching timing via grouping context, the context cache replacement policy on account of partially reconfigurable mechanism, will be explored. The research results of the project can effectively mitigate the memory bandwidth bottlenecks of configuration context and operation data, thereby significantly improving processor performance. The achievements of this project can lay the foundation for high performance chip design of dynamically reconfigurable computing processor.

动态可重构处理器凭借高灵活性和高能量效率的并行计算形式，成为计算系统研究的一个新热点。然而，随着并行计算能力不断提高，动态可重构处理器的性能越来越明显地受到存储带宽瓶颈的制约。目前，动态可重构处理器架构中虽然采用片上缓存结构来减少对外部存储器带宽的需求，但是针对其缓存管理技术的研究还存在明显欠缺，导致缓存利用率较低，因此极大地制约了可重构处理器的计算能力。本课题旨在研究动态可重构处理器片上缓存的管理技术，以提高片上缓存的利用率为核心目标，突破“配置信息引导模板匹配和访存模式检测的运算数据缓存预取机制”、“消除交叠数据集和平衡阵列访存延时的缓存划分方法”、“通过配置信息分组精准控制预取时机的配置信息缓存预取机制”和“基于动态局部重构机制的配置信息缓存替换策略”等缓存管理的关键技术，有效缓解运算数据和配置信息两方面的存储带宽瓶颈，提高可重构处理器性能，为高性能动态可重构处理器芯片设计奠定基础。

动态可重构计算架构凭借高灵活性和高能量效率的并行计算形式，成为计算系统研究的一个新热点，已经广泛应用于人工智能、通信、媒体处理、密码等不同领域的硬件加速器中。然而，动态可重构架构的高计算并行度也明显地受到存储带宽瓶颈的制约，片上缓存结构是缓解外部存储器带宽瓶颈限制的有效手段。本项目针对动态可重构计算架构的特点，面向片上缓存管理技术（预取、划分、替换等），研究提高缓存利用率的方法，从而有效提高可重构计算架构的计算能力。针对动态可重构处理器片上缓存管理技术的研究包括：.首先，对于运算密集型算法中包含的大量规则数据访存，研究了一种配置信息驱动访存模式匹配的缓存预取方法（Context-Directed Pattern Matching，CDPM）。与不进行预取的LRU方法相比，可以减少64%的缓存缺失，提高32%的可重构处理器性能；与PACMan和SBP预取方法相比，可以减少25%和14%的缓存缺失，性能分别提高12%和8%。.其次，针对控制密集型算法中存在的大量不规则访存数据，研究了一种由配置信息引导的基于预取模板匹配的预取方法（Configuration Context based Prefetching，CCP），为配置信息执行过程中的不规则访存数据设计多套不同偏移量的预取模板。与不预取的LRU方法相比，能够提高19%的缓存命中率和35.23%的可重构处理器性能；与PACMan和SBP预取方法相比，性能分别可以提高12.98%和10.41%。.第三，基于可重构处理器中多个PE阵列组成流水线或并行这两种工作模式，引入数据重叠量和迭代次数这两个新的控制变量，对经典的无效缩放（Futility Scaling，FS）缓存划分方法中的缩放因子进行修正，提出了一种消除交叠数据集和平衡阵列访存延时的缓存划分方法。相比于不划分的LRU方法，平均提高了25%的可重构处理器共享数据缓存命中率。.最后，根据配置信息的大小和使用频率两个特征，提出了一种配置信息引导的可重构处理器缓存替换策略（Context-directed Replacement Policy，CRP），根据命中频率更新被命中的数据块的替换优先级，根据配置信息大小选择被替换出缓存的数据块。与LRU替换方法相比，可以提高36%的可重构处理器性能；与RRIP替换方法相比，性能可以提高20%。