CPU/GPU异构系统下高光谱遥感影像降维多级协同并行计算方法及优化策略

How to efficiently process hyperspectral information has become the research focus of remote sensing area. Dimensionality reduction of hyperspectral image is the key step of the following analysis and identification of landscape. Dimensionality reduction is a typical computing intensive and memory access intensive process with high complexity. Realizing data reduction in serial mode is impossible to satisfy the real-time need of many applications, such as military and agriculture. Heterogeneous system with general CPU and special GPU can satisfy different needs for computing resources, and is one of the most promising developments of future high performance computer architecture. This project, focused on dimensionality reduction of hyperspectral image, will start from linear reduction algorithms and primarily study the nonlinear reduction algorithms of hyperspectral image based on manifold learning method. A performance analysis model will be built and a series of multilevel cooperative parallel algorithm for novel CPU/GPU heterogeneous architecture will be proposed. Then, the project summarizes the general optimization method of this kind of applications on the CPU/GPU heterogeneous architecture, which will provide some innovative ideas of improving parallelism and scalability of dimensionality reduction algorithm. The project aims at breaking through the "speedup wall", making some original achievements, and improving the ability of processing hyperspectral remote sensing images, thus having a broad range of applications in the future.

如何对高光谱信息进行高效处理是遥感领域近年来的研究热点，高光谱影像降维是做好后续地物分析识别的一个关键步骤。由于降维计算是一个典型的计算密集和访存密集型过程，计算复杂度很高，采用传统的串行处理模式，已无法满足军事、农林等高端应用的实时性需求。通用CPU和专用GPU相互配合的异构系统可以满足应用对计算资源的不同需求，是未来高性能计算机体系结构最有前景的发展方向之一。本项目将针对高光谱遥感影像降维计算方法，以线性降维方法为牵引，重点研究基于流形学习的非线性高光谱影像降维算法，建立性能分析模型，研究提出基于新型CPU/GPU异构体系结构的多级协同并行算法，归纳此类应用面向该体系结构特征的一般优化方法，并反向指导降维方法在可并行度和可扩展性方面的创新，突破原有算法的"加速比墙"，出原创成果，有效提高高光谱遥感影像处理的业务水平，应用前景广阔。

对高光谱信息进行高效处理是遥感领域近年来研究的热点，具有重要的理论意义和应用价值。高光谱影像降维通过提取连续波段的主要特征，减少信息冗余带来的大额计算开销和分类精度下降等问题，是典型的计算密集和访存密集型过程，采用传统的串行处理模式，已无法满足军事、农林等高端应用的实时性需求。CPU+GPU异构系统结合强大的控制逻辑和高效的计算能力，已成为高性能计算领域的发展主流之一。本项目针对高光谱遥感影像降维计算方法，建立性能分析模型，研究提出基于新型CPU/GPU异构体系结构的多级协同并行算法，总结此类应用面向该体系结构特征的优化策略和框架，指导降维方法在可并行度和可扩展性方面的创新。.课题制定了完善的研究计划并实施了全面的验证工作：1）从高光谱降维算法的数理模型、优化流程、应用模式等方面开展研究；对高光谱流形学习降维等热点、难点进行了学术调研和实验探究；建立了高光谱降维性能分析模型，为并行算法的方案设计和性能评估提供参考。2）基于性能模型，研究CPU/GPU异构集群下的高光谱影像降维算法的多级协同并行计算方法和优化策略，设计并实现了PCA、fastICA、MNF、KPCA、ISOMAP等算法的并行方案，获得显著性能提升，其中多级并行模式加速效果最优，如基于MPI+OpenMP+CUDA三级协同并行的PCA和FastICA分别获得145倍和169倍的计算加速比。3）进一步提高并行性和可扩展性，深入研究数据组织方式、通信方式、应用平台等因素，建立契合平台体系特征的优化模型，如FastICA算法在天河2号超级计算机上最高获得410倍加速比。4）依托项目研究成果，设计并实现了高效易用的高光谱并行处理软件，包括基于众核GPU的高光谱线性降维并行处理软件（HIDRPPS）和非线性降维并行处理软件（HINLDRPPS）、基于集成众核的高光谱影像并行降维软件（HIPDR-MIC）。.本项目聚焦高光谱应用研究，实现了高光谱遥感降维算法和并行技术的融合，力求突破高光谱影像降维的计算限制和性能瓶颈，为提高高光谱信息处理领域的业务水平提供了关键技术支持和重要研究导向。