面向地基云自动化观测的天空图像理解

Cloud is one of the most important forces of Earth's heat balance and hydrological cycle. The net effect of clouds, however,is still unknown and it plays important role in climate models,climate predictions and meteorological services.Nowadays satellite remote sensing and ground based visual observation are commonly used, but the cloud data is still unsufficient for meteorological reseach and development. As the urgent demand for automated ground based cloud observation is coming, in this project, we will collect large scale sky image databases with ground based instruments from several typical climate zones, and investigate the specification on representations of cloud and sky types suitable for ground based cloud observation instruments. From the computer vision and pattern recognition's point of view, the analysis and understanding of cloud sky images are targetted to cloud object detection and extraction as well as cloud and sky type recognition. We will develop and evaluate novel cloud image segmentation and recognition models learning from data and field knowledge priors, to get total cloud amount, lower cloud amount, cloud types and sky type from the observed sky image sequences. If successful, the results are expected to provide technical support for automated ground based cloud observation, and data support for satellite remote sensing data verfication and fusion. They are also expected to make interesting, new research fields for visual perception and image understanding on objective scenes with natural objects.

云是大气中热力平衡和水气循环的重要环节，对气候模式和天气预报有着重要影响。目前主要通过地面人工目测和卫星遥感进行云的系统观测，而人工目测方式严重制约着我国跟进世界气象观测自动化的潮流和云资料进入数值模式的深度。本项目以地基云自动化观测的迫切需求为牵引，搜集整理我国典型气候区域的地基云图样本库，从大气代表性、应用需求、机器模式识别的特点等方面研究建立适合地基器测的天空云状分类标准；在已有基础上，以数据为驱动，结合领域先验知识，采用计算机视觉、模式识别和机器学习的手段，研究地基测云天空图像序列中的云检测与提取方法、云状和天空类型识别方法，从而准确获取云图的总云量、低云量、云状和天空类型等重要信息。本项目的研究一方面可以为地基云自动化观测的业务应用提供基础技术支撑，为卫星云图提供验证和融合的数据基础，提高云观测资料的全面性和数据质量；另一方面也为自然目标客观场景的图像理解开辟了一个新的研究领域。

云是影响地面和大气系统辐射收支平衡，热量平衡和水气循环的重要因素，云观测技术的研究对气候模式和天气分析以及预报具有重要的意义。鉴于云在大气科学研究中的重要地位以及气象观测的复杂性，本项目以地基云自动化观测的迫切需求为牵引，针对地基云图的总云量、低云量、云状和天空类型等重要信息准确获取的最终任务，着重以人工智能，模式识别和机器学习中的数据处理技术为分析基础，收集整理出了一个覆盖典型地区、典型天气、器测观测时间和频次、全天空观测范围、多种观测手段和方式的较完备的地基云图样本库，开展了地基测云天空图像的云检测与分割方法、地基器测云状和天空类型分类和识别方法、以及基于时间信息的相邻地基云图序列的建模、分类与合成方法的研究。实验结果表明提出的基于显著性局部二值模式和基于自适应符号稀疏编码的地基云图分类方法的分类准确率均达到90%以上, 基于张量集合的地基云图序列模型取得了比基于单张云图分类方法更加优越的性能;提出的基于超像素分割的天空图像云检测方法和基于自适应图割的复杂天空图像云检测方法的性能都优于传统的图像分割方法。. 基于以上研究成果，合作研制的地基云自动观测设备2013-2014年通过了中国气象局在云南丽江、浙江杭州、湖南长沙三地累计长达6个月的外场实际运行定型考核，达到了替代气象观测员人工观测的云量连续自动化观测的业务要求，进一步对地基云自动观测设备进行了核心算法改进，参加了中国气象局组织的在湖南长沙和北京南郊站点的半年补充考核，总体云量准确率超过85%，并于2015年12月10日在中国科学院自动化研究所通过了地基云量仪的设计定型专家组验收。发表相关论文19篇，其中包括SCI期刊论文10篇，EI国际会议论文9篇，国家发明专利11项，计算机软件著作权3项。培养相关研究方向学生11名。