面向高性能异构众核架构的大规模CFD并行算法与应用

The emergence and development of high performance heterogeneous many-core architecture has brought enormous opportunities, and meanwhile poses an unprecedented challenge, for efficient numerical simulations of large-scale CFD applications. The algorithms and methods for parallel CFD computing on traditional CPU-enabled platforms are no longer suitable for the new parallel architecture. It is essential to develop new parallel CFD computing techniques to fully exploit the performance of large-scale heterogeneous many-core HPC systems, incorporating both the characteristics of CFD applications and many-core systems. In this proposal, based on the characteristics of architectures and programming models of popular high performance many-core accelerators/co-processors such as GPU and MIC, we target at designing and developing multi-level scalable parallel algorithms, application/architecture-aware optimization methods and other key techniques for efficient heterogeneous and collaborative computing involving typical explicit and implicit methods in multi-block CFD. Furthermore, we will apply our research works to port our in-house CFD programs onto China’s leading-edge many-core supercomputers, enhance the capability of CFD numerical simulations and meet the requirements of CFD applications.

高性能异构众核架构的出现和发展给大规模CFD应用数值模拟提供了前所未有的机遇，也带来了前所未有的挑战。传统CPU平台上的CFD并行计算方法无法适应异构众核这一新型并行架构特点，迫切需要从CFD数值模拟的数值模型和算法特点出发，紧密结合异构架构特征，针对性地开展并行计算研究，使应用程序充分发掘大规模异构众核高性能计算机性能。本项目面向多区网格CFD应用选择典型显式、隐式求解方法，结合GPU/MIC等主流高性能异构众核平台体系结构和编程模型特点，研究CFD求解方法的多层次可扩展众核并行算法，发展CFD应用和众核体系结构特征相融合的性能优化方法，突破异构众核高效协同并行CFD计算一系列关键理论、技术，并将研究成果应用于自主知识产权CFD程序在国产异构众核超级计算机上的异构并行实现，以提升CFD数值模拟能力，满足CFD应用发展需求。

本项目主要研究CFD众核可扩展并行算法、异构协同并行方法以及性能优化方法等。项目针对目前CFD中应用最为广泛的隐式LU-SGS求解方法，设计了基于两级流水线的可扩展众核并行算法，大幅降低了流水线并行计算数据依赖的影响，实现了MPI+OpenMP混合并行计算；针对高精度CFD，设计实现了高效新型预条件JFNK并行求解方法并进行了系统的参数调优，相对于传统线性LU-SGS求解效率提升了一个量级。项目在天河二号超级计算机上，采用OpenMP4.X和Python两种新型并行编程模型实现了3D LBM多相流的大规模CPU+MIC异构协同并行，设计了CPU与MIC加速器之间的负载均衡策略，通过异步方式最大程度地实现了计算和通信重叠，在天河二号超级计算机上成功模拟了基于D3Q19离散方法和Shan-Chen BGK碰撞模型的气液两相流，算例规模百亿网格，并行规模1024结点，并行效率超过90%。项目针对CFD中典型热点计算模板开展了性能优化研究。结合WCNS高精度格式半节点重构模板特点与集成众核平台的宽向量、高线程并发度等体系结构特征, 开展以向量化为核心的性能优化研究，优化后的半节点重构计算在Xeon Phi上获得了8倍的性能提升,单加速器的性能相当于双路CPU的2.5倍。CFD控制方程离散后获得的线性系统矩阵是稀疏的，通常CFD计算模板可以表示为稀疏矩阵向量乘的形式。项目针对国产新型众核处理器FT-2000，开展了稀疏矩阵乘的性能分析和并行优化研究，与Intel多核处理器以及众核处理器MIC进行了深入的对比，为后续基于国产众核平台开展关键计算模板的优化和数据结构的改进奠定了基础。