面向异构众核系统的非规则问题优化技术研究

With the requirement of HPC applications and energy, the node with hybrid many cores systems (CPU is host processor, many core is the co-processor) are getting more and more important for the development of high performance computer. The system characteristics consist of multiple level storages, multiple programming models, multiple parallel computing models, etc. Traditional optimization technologies are difficult to satisfy the irregular accessing, input-intensive, overhead imbalance problems. It is necessary to reconstruct the irregular problem algorithm libraries, and to find the dependencies of algorithms, self-locality, parallelism, and irregularity for exploring the characteristics of hybrid many cores systems. We focus on the scheduling of dynamic overhead, data management for irregular problem algorithm libraries (sorting library and sparse matrix vector multiply) on hybrid many core systems (CPU + Intel MIC). We then select the tuning parameters based on the optimization technologies. The performance model is built using quantification and trial methods. Based on this model, we build the auto-tuning algorithm library. The research results will improve the performance to build and execute the irregular problem library, and increase the productivity of programmers.

随着高性能计算应用和能耗需求的日益增长，以异构众核系统（CPU为主处理器，众核为协处理器）作为集群节点已经成为未来高性能计算机发展的一个重要趋势。该系统具有多存储层次、多编程模型、多并行计算模式等特点，传统的优化技术已经很难满足非规则问题所带来的存储访问不规则、输入数据敏感和负载不均衡等问题。这就需要重构非规则问题算法库，深度挖掘算法之间相关性、自身局部性、并行性和非规则等特点，充分发挥异构众核系统特点，提高程序性能。为此，本课题针对典型的非规则问题算法库（排序算法库和稀疏矩阵向量乘算法库）在异构众核节点（传统CPU + Intel MIC协处理器）研究动态负载均衡和数据管理优化的基础上选取调优参数，通过定量化和试验相结合的方式建立优化技术的性能模型,进行算法库自动调优研究。本项目的研究成果将很好地提高非规则问题算法库的生成和执行效率，提高程序员的生产效率，具有重要的理论意义和应用价值。

随着高性能计算应用和能耗需求的日益增长，以异构众核系统（CPU为主处理器，众核为协处理器）作为集群节点已经成为未来高性能计算机发展的一个重要趋势。该系统具有多存储层次、多编程模型、多并行计算模式等特点，传统的优化技术已经很难满足非规则问题所带来的存储访问不规则、输入数据敏感和负载不均衡等问题。这就需要重构非规则问题算法库，深度挖掘算法之间相关性、自身局部性、并行性和非规则等特点，充分发挥异构众核系统特点，提高程序性能。本项目的研究成果将很好地提高非规则问题算法库的生成和执行效率，提高程序员的生产效率，具有重要的理论意义和应用价值。. 依托本项目，提出面向异构众核系统的“混合任务队列”设计及异步任务窃取技术；提出“混合任务队列”下任务依赖阻塞/非阻塞模型以及数据管理优化技术。在此基础上的自动调优技术在排序算法库生成、新能源并网规划、计算金融和材料计算等领域得到应用。对于新能源并网中的大规模混合整数规划问题，该求解过程具有预处理过程启发式方法多样、调优参数多，并行负载不均衡的特点，针对多种预处理方法以及多种调优参数进行性能建模和自动调优，总体性能可以提高30%左右。在分子动力学模拟（具有存储访问不规则且性能与数据输入相关的特点）方面，与传统数据结构进行比较并进行修改以适应自动调优技术，与流行的分子动力学软件LAMMPS和IMD相比内存可以节省40%以上，性能提升30%。针对第一性原理计算中的计算线性标度三维分片算法（LS3DF）进行优化，在此基础上所建立的性能模型预测结果与实际时间误差最大为8%，相比2016年发布的VASP软件异构版本快2-4倍；提出面向混合架构的排序算法分层自动调优方法以及算法库生成技术。. 带有自动调优功能的大规模混合整数规划求解器CMIP已经在中国电力科学研究院进行使用，用于新能源并网评估方面的研究。相应的分子动力学软件Crystal MD（已经申请软著）和第一性原理软件SC_PEtot已经在中国原子能科学研究院和北京科技大学得到应用，用于辐照缺陷演化模拟。