面向气象雷达大数据超短临精准降水的机器学习模型与算法研究

With the frequent occurance of extreme precipitation events, accurate estimation and forecast of the extreme weather system is challenging for the development of modern meteorology. The current precipitation estimation and forecasting methods based on radar reflectivity factor inversing precipitation cannot meet the requirements of accurate warning in-situ. Therefore, it is urgent to propose a more reliable kilometer scale nowcasting quantitative precipitation estimation model. This project proposes a spatiotemporal correlation model for meteorological data based on sparse representation and semi-supervised learning. Three aspects including basic theory, key technologies and applications are presented. First, the theory of spatiotemporal structural sparse representation for meteorological radar big data is investigated, to accurately depict the mechanism between meteorological radar big data and near-surface precipitation. Second, the following key technologies for nowcasting quantitative precipitation estimation are studied: construction and implementation of spatio and temporal submodels, online optimization and organic integration of the submodels based on dynamic updating strategies and data fusion theory. Finally, the effectiveness and efficiency of the proposed theory and critical technologies are verified by our current undertaking project from China Meteorological Administration Public Meteorological Service Center. Through the above research, we construct the fusion model for mining the spatiotemporal characteristics of precipitation based on continuous conditional random fields and deep random forests, aiming to solve the regional minute quantitative precipitation warning problem, which has great significance to the theoretical researches and operational applications of the big data and machine learning.

随着极端降水事件的频繁发生，如何对极端降水天气进行精准估计和预报成为气象现代化发展面临的挑战。现有气象雷达反射率因子反演估计降水的方法无法满足精细化区域预警需求，亟需解决公里级超短临降水估计难题。本项目旨在提出一种基于稀疏表示和半监督学习的气象雷达数据时空关联模型，从基础理论、关键技术和实例验证三方面研究超短临精准降水估计问题。首先，研究气象雷达数据时空结构稀疏表示理论，精准刻画气象雷达大数据到近地面降水机理；其次，研究气象雷达数据时空建模、模型的在线优化与融合算法，实现超短临精准降水时空模型的构建、动态更新及有机融合；最后，结合承担的国家气象局公服中心的任务，验证提出理论的合理性与算法的有效性。通过上述研究，建立挖掘降水时空特性的连续条件随机场与深度随机森林融合模型，探索解决区域分钟级定量降水预警难题，对大数据机器学习理论研究和应用具有重要意义。

天气精细化预报预警是减灾防灾的重要途径，随着极端降水事件的频繁发生，如何对极端降水天气进行精准估测和预报成为气象现代化发展面临的挑战。气象雷达获取的多源异构稀疏并带有降水标记的全空间数据具备大数据的典型特征，因此，面向气象雷达的超短临精准降水估计问题从大数据的观点看是通过高效智能的挖掘技术，形成对气象雷达大数据的知识表示、知识学习，实现对气象大数据的精准建模。项目按照项目计划书实施，利用大数据机器学习方法对气象雷达大数据进行分析，进而挖掘数据间潜在关联关系。具体研究成果包括：1）具有双重稀疏机制的在线学习算法。该成果一方面利用正则化项约束目标函数以增强预测模型的稀疏性,提高算法的泛化性能；另一方面用改进的梯度截取法对数据特征进行选择，有效稀疏化预测模型。通过两种机制的有机融合有效增强了学习模型的稀疏性，提高了算法分类数据的性能。2）基于随机搜索策略的在线特征选择算法。实际应用场景中，数据集的特征体现出高维、稀疏、无序等显著特征，特征选择方法的目标是从数据特征集中选择最优的特征子集，因此它已经成为机器学习及数据挖掘应用中重要的数据预处理阶段。该成果能够实现在线特征选择，以从原始特征集中获取最优特征子集。主要思路是通过设置两个具有动态学习机制的存储器并引入遗传算子，存储器用以保存优良个体及相关历史信息，遗传算子用以折中算法的局部“开采”能力和全局“探索”能力。3）基于大数据的短临降水强度估测方法及系统。该成果通过获取估测点关联的雷达反射率因子及降水量之间的模型关系，构建两者的映射关系，根据优化得到的目标函数获得短临降水估计模型。4）基于多重自适应策略的群智能算法。该成果在种群模型优化过程中将子种群重组以保持其多样性，在不同的阶段自适应选择其学习样例以增强算法的全局搜索能力，同时提出了一种自适应调整策略以提升模型及优化算法的整体性能。