基于STT-MRAM的可重构多模态深度神经计算研究

With the development of computer technology and integrated circuit technology, multi-modality deep learning plays a very important role in the areas of national economy and the people's livelihood. Multi-modality deep learning relies on flexible and versatile deep networks, and processes data such as image, video etc. at high cost of computations and memory accessing. Current computing hardware cannot achieve flexibility, ultra-low power and super high energy efficiency, which limit its development. Designs with flexible, ultra-low power and super high energy efficiency are the urgent works that need to be carried out. This project deepens the published works on DAC, CICC and IEEE transactions, and proposes STT-MRAM based re-configurable computing, trying to comprehensively solve issues in multi-modality deep learning. Research of STT-MRAM based low power reconfigurable computing architecture, perform optimizations on dynamic array scheduling and compressed memory partitioning with the sparse characteristics of neural networks. On the one hand, this project will promote the development of multi-modality deep learning and provide high energy efficient computing hardware for intelligent computing. On the other hand, it is conducive to combine new reconfigurable computing with new memory, and the achievements are quite helpful for the research of high-end general-purpose processor and new storage technology.

随着计算机技术和集成电路技术的发展，多模态深度学习在关乎国计民生的领域发挥着重要作用。多模态深度学习依赖灵活多样的神经网络，对图像，视频等数据进行处理，运算和访存代价高。当前计算硬件无法实现灵活性，极低功耗和超高能效相统一，这限制了它的发展。研究灵活，极低功耗和超高能效的计算硬件是迫切需要开展的工作。本项目深化发表在DAC、CICC、TVLSI, TCAS II, TCAD等上的相关研究，着眼解决多模态深度学习存在的问题，提出基于STT-MRAM的可重构多模神经计算。研究基于STT-MRAM的低功耗可重构计算架构，探索网络稀疏，多精度特点下阵列调度和数据访存等优化技术来提高计算能效。本项目研究，一方面可以促进多模态深度学习快速发展，为智能计算提供高能效计算硬件；另外一方面，是对新型存储器结合可重构计算的有益尝试，相关研究成果将有助于我国高端通用处理器及新型存储器技术的研究。

近年来大数据和计算能力的增加大大地促进了深度学习技术的不断进步，然而其模型复杂度的不断增长对计算平台的计算能力、计算功耗、存储带宽等带来愈发严峻的挑战。当前计算硬件无法实现灵活性，极低功耗和超高能效相统一，这限制了它的发展。.本项目针对多模深度学习面临的计算功耗大、访存频次高等问题展开深入调研，从计算单元、计算架构、计算流程优化、访存优化等多个层面出发，研究基于STT-MRAM的可重构多模神经计算。基于STT-MRAM的非易失、低功耗、低面积等优势，本项目提出了基于STT-MRAM的多比特全加器设计方法、多模深度学习存内计算架构及其可重构设计方法以及贝叶斯深度学习计算流程优化方法。仿真与实验结果表明，本项目的研究成果可有效解决深度学习面临的高功耗等问题。基于STT-MRAM的低功耗片上积分直方计算架构在64x64-512x512的图像中可以减少87.4%-97.3%的能量消耗；基于多级存储单元STT-MRAM的存内计算架构可有效解决现有存内计算架构在集成度、数据利用率和速度等方面的问题；基于STT-MRAM面向通用计算的可重构存内计算架构为解决其可重构性和并行度提供了一种有效方案；基于存储与分解策略的贝叶斯深度学习计算流程优化算法，可在不影响学习精度的前提下，将系统功耗降低73%，运行速度提高4倍，电路面积仅增加14%。.现在工业界和学术界都一致认为存算一体是冯诺依曼架构存储器瓶颈最有效的解决方案。本项目采用新型自旋磁存储器件，构建面向深度学习的高效的存内计算架构，对于应对大数据应用背景下的冯诺依曼瓶颈具有重要的科学意义与应用前景。一方面可以促进深度学习快速发展，为智能计算提供高能效计算硬件。另外一方面，是对新型存储器结合可重构计算的有益尝试，有助于我国高端通用处理器及新型存储器技术的研究。