高性能异构多轨网络体系结构研究

多轨网络的出现，为突破半导体工艺限制，解决网络带宽墙问题提供了方法。但现实中采用多轨的多层并行网络由于资源消耗大，无法用于大规模并行系统。如何有效降低对资源的需求，发挥多轨网络的性能优势，是网络体系结构研究面临的重大挑战。同时，不同应用在通信模式上存在巨大的差异，而同构多轨网络不能满足所有应用的需求。如何融合不同特性的网络，支持不同通信模式是网络体系结构研究的又一挑战。另外，随着网络规模的扩大，网络失效将成为常态。如何在网络部件失效频繁发生的情况下，维持网络的高可用性并且防止性能的下降是网络体系结构研究的另一挑战。基于以上问题，本课题提出了异构多轨网络结构，通过融合不同类型的网络，以达到降低资源需求、满足不同通信模式的目的。同时，通过引入一套基于链路失效消息传播的分布式动态容错路由机制，来保证网络失效情况下的高可用性和高性能。在资源受限的条件下，实现高性能高可用的异构多轨互连网络。

传统多轨网络通过叠加多层同构网络来解决网络带宽墙问题，然而系统功耗成本限制和应用通信特征多样性，限制了该网络结构的广泛应用。本项目提出了融合不同特性网络的异构多轨网络设计方法，研究各层次网络与不同通信模式的最优匹配问题。首次提出了基于硬件的通信Trace采集方法，解决传统软件方法的噪音和效率问题，开发了无损通信Trace采集和通信行为分析试验台。在构建典型应用流量模型的基础上，开发了用于大规模网络性能评价的并行网络模拟器，支持灵活的多层次网络模拟，根据目前的文献检索结果，是首个能完成数万节点规模时钟精确网络模拟的模拟器。基于发现的应用通信局部性特征，研究了以低维度Router构建大规模网络的多层次非对称网络设计方法和相关自适应路由算法，模拟结果表明，采用该方法构建的Hyper3DTorus网络结构，在不同应用通信局部性特征下，其性能功耗比为Cray Dragonfly网络的1.52~4倍。研究了针对All-to-all、Barrier和Reduce通信模式的网络加速方法和网络结构，通过在网络部件中提供处理功能，实现网络流量的缩减，FPGA原型系统测试结果表明，通信性能分别为商业Infiniband网络的2.4、4和16倍。探索了低开销的多轨网络终端系统栈，包括网络接口弹性共享分配机制、支持PGAS和MPI编程模型的高效通信原语、用户级通信机制和基于I/O总线协议扩展的网络通信协议，FPGA原型系统的评测结果表明，基于该系统栈的点对点通信有效带宽达到理论峰值带宽的90%，最低延迟仅1.12µs。为突破电互连带宽瓶颈，加速长消息的传输，将WDM技术引入异构多轨网络，初步研究了基于AWGR快速光交换的混合网络架构和流量分配算法，模拟结果表明，相比纯电域网络，该网络结构可获得1倍的性能提升。