面向FAST的海量数据处理关键技术研究

The project aims to build a new system for handling huge among of multi-wavelength astronomical data with different formats and obtained from different telescopes. We will explore new technology and architecture for Petabytes data management, and develop data mining tools and 3D visualization tools for astronomical data analysis. The short term goal of such system is to serve the need for managing the huge amount of data expected from large scale astronomical surveys using the Five Hundred Astronomical radio Telescope (FAST) which is expected to complete construction and start observing by the end of 2016. Our long term goals is to develop a platform for FAST and the Virtual Observatory that can handle large multi-source heterogeneous astronomical data set, together with a powerful visualization interface (similar to Google Sky) for data query and search, allowing researchers to find objects on the sky map, and can easily explore the sky area to study the surrounding environment with multi-wavelength data from different telescopes. It can also link the data to related theoretical models, and provide tools for fitting data and comparing to models, in order to reveal the nature of the observed object, and promote new discoveries in astronomy.

本项目的主要研究内容是探索一种全新的能够融合海量大尺度多波段高维天文数据的存储架构和技术，并开发与之配套的数据分析和数据挖掘技术以及三维可视化展示工具。目标是建立一个能管理FAST及其他望远镜产生的海量多源异构天文数据的平台，配以强大的可视化查询界面， 使得研究人员能够快速获得同一天区及周围环境的多波段数据， 还能调用相关理论模型进行数据拟合， 进行多视角、全方位的研究来揭示天体的本质， 促进天文学的新发现。该系统可以首先应用到FAST中性氢谱线巡天、 脉冲星巡天、射电瞬变源巡天等项目的数据归档管理、查询和数据处理分析上， 最终会扩展到管理不同类型的多波段数据。 要解决的关键问题是海量多源异构天文数据的融合管理、可视化的查询、搜索和数据分析技术。

本项目是为解决FAST巡天产生的天文大数据问题而设立了。项目主要研究内容是探索一种全新的能够融合海量大尺度多波段高维天文数据的存储架构和技术，并开发与之配套的数据分析和数据挖掘技术以及三维可视化展示工具。目标是建立一个能管理FAST及其他望远镜产生的海量多源异构天文数据的平台，配以强大的可视化查询界面，使得研究人员能够快速获得同一天区及周围环境的多波段数据，进行多视角、全方位的研究来揭示天体的本质，促进天文学的新发现。该系统已经应用到FAST脉冲星巡天等项目的数据归档管理、查询和数据处理分析上，最终会扩展到管理不同类型的多波段数据上。要解决的关键问题是海量多源异构天文数据的融合管理、可视化的查询、搜索和数据分析技术。经过四年的研究，项目的预定目标基本实现，主要成果有（1）建立了FAST科学数据的存储与处理系统，有效管理观测数据超过10PB，数据量为国内天文设施中最大。针对脉冲星巡天的海量数据存储和处理需求，优化采用了分布式存储和计算的架构，结合GPU异构计算和Docker容器技术，实现了准实时处理脉冲星漂移巡天产生的海量数据。该系统在FAST的调试和早期科学试观测中发挥了重要作用。（2）创新了多波段天文数据的融合技术。针对FAST的大数据，设计了基于多级等面积同纬度划分法（HEALPix）技术的文件分区存储及数据布局优化方法，并实现了分布式并行交叉认证算法。部分成果被推广应用到中国虚拟天文台软件系统中。