非精确加速器结构与编程的若干关键技术的研究

Due to the limitations of encapsulation and cooling, only a part of transistors on a future chip can operate at their full speeds. Hence, future chip will contain a number of highly energy-efficient accelerators which focus on different application domains respectively. We observe that many emerging applications, including big data processing on cloud server and computational intelligence task on mobile phone, can tolerate inexactness of computation in some extent. Therefore, to design energy-efficient accelerators for these applications, we can sacrifice the precision of computation results to obtain higher performance and lower energy consumption. Hence, it is important to investigate the architecture and programming model of such inexact accelerators. In this project, we plan to investigate the analysis and control of error caused by inexact computation, so as to solve some important problems in the design and programming of energy-efficient inexact accelerator, including the design principle of energy-efficient inexact accelerator, the trade-off strategy between error and energy-efficiency, the verification and test methodology of inexact accelerator, the programming environment for various inexact accelerators, and the scheduling strategy between multi inexact accelerators. Our project will produce a reference design of inexact accelerator, a test chip of inexact accelerator, and a programming tool for inexact accelerator, which can be referenced by the society.

由于受到封装功耗和散热方面的限制，未来芯片上只有一部分晶体管能够同时全速工作。因此，未来芯片上将会集成多种面向不同应用、不同时开启的高能效加速器。我们注意到，大量新兴应用（包括云端的大数据处理和终端的智能计算）都能在一定程度上容忍计算过程中的误差和非精确性。针对上述应用特征，我们可以在可容忍的范围内牺牲计算的精确性，换取加速器性能功耗比的大幅提高。因此，研究这类新型加速器的结构设计和编程方法有重要的现实意义。 本项目拟通过对非精确计算的误差分析和控制，解决非精确高能效加速器的结构设计以及编程方法中的一系列关键难题，包括非精确高能效加速器的结构设计原理与方法、误差和能效之间最佳权衡的非精确计算加速器的结构、非精确计算加速器的验证和测试的方法学、适用于多种非精确加速器的编程环境、多个非精确加速器间任务调度方法等。最终本项目将形成一套非精确加速器的参考设计、样片和编程工具，为国内外同行提供借鉴。

由于受到封装功耗和散热的限制，芯片上的晶体管无法得到充分利用，为了解决这一问题，芯片上逐渐集成了多种面向不同应用的高能效加速器。我们注意到大量新兴应用，例如人脸识别、图像合成、数据挖掘等RMS（Recognition/识别，Mining/发掘，Synthesis/综合）应用，都能在一定程度上容忍计算过程中的误差和非精确性。深度神经网络稀疏化算法由于其非精确性能够有效降低神经网络运算量和访存开销，成为了深度神经网络发展的一个新的趋势。针对上述应用特征，面向深度神经网络处理过程的稀疏化趋势，我们通过在可容忍的误差范围内牺牲计算的精确性换取了加速器能效的大幅提高。.在非精确加速器设计中，Olivier Temam带领其科研团队突破了非精确加速器结构设计、非精确加速器功能验证、非精确加速器编程等一系列关键技术，形成了一套非精确加速器的参考设计、样片和编程工具。项目所研制的加速器充分利用稀疏神经网络的特性，实现了神经网络的计算量和访存量的大幅减少。在65nm的工艺下，非精确加速器能够达到544GOP/s的性能，面积和功耗只有6.38mm2和954mW，相比过去的神经网络加速器快7.23倍，同时能耗降低6.43倍。.项目相关工作形成了19篇论文和6项发明专利，其中包括7篇CCF A 类会议论文和6篇IEEE/ACM Transactions 论文。项目的相关成果为未来暗硅时代异构处理器的发展、尤其是面向非精确稀疏神经网络等应用的处理器核的研制可以提供有效的借鉴。