多核集群上水工结构有限元分析的多层次混合粒度并行算法与程序

针对水工结构分析中强非线性、自适应、多物理场等特有问题和多核集群多层次存储和多层次并行的特点，采用粗细粒度多层次并行模式对水工结构有限元分析的动态负载平衡并行算法与程序进行研究。将区域分解方法和多波前法相结合，混合使用多进程粗粒度并行和多线程细粒度并行，研制有限元线性系统并行求解器，避免整体方程的组集和映射分配，提高并行度和可扩展性。采用多层图划分策略研究区域划分方法，运用扩展相加的概念实现子域波前矩阵方程的并行合并，调用高性能线性代数库和通信库实现核心数值运算的高效并行化。对细粒度线程负载平衡策略、粗粒度进程间负载流动方式和区域重划分技术进行研究，以整体性能最优为目标实现动态负载平衡。基于MPI/OpenMP混合编程模型开发并行程序，从存储、通信和程序结构等多方面研究程序调优技术。本研究充分利用了多核集群的体系特征，考虑了水工结构的特有问题，可以进一步提高水工结构有限元并行分析的效能。

随着高性能计算技术的快速发展和水工结构分析规模越来越大，研制开发超大型高性能计算平台上的可扩展并行算法和程序变得越来越迫切。本项目在当前比较流行的多核集群计算平台上对水工结构有限元分析的多层次混合粒度并行算法和程序进行了研究，取得了以下主要研究成果：（1）将传统多波前方法和区域分解算法相结合，研制开发了基于区域分解的有限元分析多波前混合粒度并行求解器，包括MPI进程间的子区域粗粒度并行和每个进程上多个OpenMP线程间的算法级细粒度并行，兼具基于区域分解求解器的可扩展性和传统多波前法的稳定性和健壮性，能够充分发挥多核集群各层次的并行性能。（2）给出了基于区域分解的有限元分析多波前混合粒度并行求解过程中的一种静、动态联合负载平衡技术，实现了MPI进程间静态负载平衡和OpenMP线程间动态负载平衡。（3）提出了适合多核处理器GPU计算的分片块状ELLPACK稀疏矩阵存储格式，采用混合精度运算策略实现了有限元分析的多项式预条件共轭梯度细粒度并行求解算法，充分发挥了GPU的计算性能。（4）采用循环配对粗化策略、局部对称Gauss-Seidel细网格光滑化和K-循环多重网格策略，实现了一种基于聚集的有限元分析可扩展代数多重网格求解器；并提出了一种近似迭代求解最粗网格方程的策略，不仅可以获得跟多波前精确求解几乎相同的计算性能，并具有潜在的高度可扩展性。