面向深度卷积神经网络的异质FPGA可重构信号处理结构研究

With the expansion of the intelligent application requirements based on convolutional neural network，FPGA has been one of the main devices used in deep learning application domains. However, the original embedded digital signal processor block can hardly meet the application requirement. The project proposes to establish deep convolutional neural network oriented heterogeneous FPGA signal processing architecture, improve the performance of chip when implementing the intelligent application. We will construct and analyses the theory models of CNN arithmetic module, routing architecture, and interconnect resource to get a design guidance for CAD evaluation experiments. Meanwhile, we will generate plenty of typical application circuit samples, explore the synthesis and mapping tools, add constrains and models to setup a whole architecture evaluate system, and experiment on it to get the proper architecture parameters and circuits implement fashion.The project will lucubrate in the CNN oriented heterogeneous FPGA signal processing architecture roundly, increase the routability together with the speed, area, and consumption performance, and also can supply useful guidance for other embedded IP resource. The expansion of the project has important practicality and meaning.

随着大量基于卷积神经网络智能应用需求的不断涌现，FPGA作为深度学习应用领域所采用的主流器件之一，然而已有的嵌入式DSP模块在结构上难以完全适应应用需求。项目提出构建面向深度卷积神经网络应用的异质FPGA信号处理结构，以有效全面提升芯片在实现智能应用系统的性能。针对神经网络运算单元、布线结构、互连资源等对异质FPGA性能的影响分别进行理论建模和优化分析，为CAD评估实验提供指导；产生典型测试电路，开发综合映射工具，构建各约束条件和模型，建立完整评估系统，并进行实验研究，最终确定各项合理的信号处理模块结构参数和电路实现方式。项目深入系统地对面向深度卷积神经网络的异质FPGA重构信号处理模块及其互连结构开展研究，拟在注重FPGA信号处理模块布通率的同时，提升芯片深度学习应用的速度、面积、功耗等性能，同时可为其它片上集成资源模块的结构设计提供借鉴和帮助，课题的开展有着重要的实用价值和研究意义。

随着人工智能应用的不断扩展，人们对计算能力的需求呈指数级提高，FPGA由于其硬件电路结构灵活的可编程性和天然的并行性，可以充分发挥硬件计算能力，计算效率高，适合实现高性能低能耗需求的智能数据处理，然而传统的FPGA结构难以充分发挥优势，应用开发存在冗余资源浪费，已有嵌入式DSP模块在分布和结构上难以完全适应应用需求。项目针对上述问题，基于FPGA架构，面向卷积神经网络算法应用，从异质FPGA信号处理结构优化、FPGA应用加速结构设计、专用定制模块设计、关键模块映射算法和层次化码流映射方法上展开研究。.在异质FPGA信号处理结构优化设计上，开发了基础硬件组件库，实现了参数化电路集生成，提出并设计了优化精简的卷积运算模块结构、高效的归约电路等，实现面向深度卷积神经网络应用的优化信号处理结构。在FPGA应用优化加速结构设计上，针对典型复杂深度卷积神经网络提出了片上计算资源利用率评估机制、粒度灵活可变的数据高效利用卷积计算单元结构、全连层压缩方法；针对低位宽类型的卷积神经网络，提出双缓存以及乒乓操作高并行度硬件加速方案；针对具有稀疏数据特征神经网络，提出空间域、Winograd域、转置卷积算法模型的计算数据流优化及加速方法。面向浮点数计算需求，提出定浮点运算融合的DSP模块结构。在异质FPGA软件系统关键算法研究上，研究面向功耗最低、延时最短、面积最小等三个不同的映射需求的双端口存储器映射的优化算法，并提出一种模式匹配和层次映射的码流生成方法，降低码流配置时间复杂度。.项目按计划开展面向卷积神经网络的异质FPGA信号处理结构研究，在提升新一代异质FPGA芯片实现深度神经网络应用速度和功耗等各方面性能的同时，也为其它嵌入模块的结构设计提供积极的借鉴。