面向湿地自然保护区水鸟监测的多源异构数据标注

Wetland is one of the most important earth's ecological system, which plays an important role in the regulation of global climate and maintaining regional ecological balance and provides the environment for the survival of wildlife and plants. Wetland waterfowl ecological monitoring has become the international popular research fields. With the emerging of digital imaging devices, how we can leverage the massive images and videos of waterfowl monitoring becomes an increasing important problem. In this proposal, a cross-media knowledge transfer framework is proposed to address the key problems in multimedia analysis and semantic description, including lacking of labeled data, heterogeneous features, and model scalability. Under this framework, we first develop a common feature subspace for visual media, in which heterogeneous features can be compared. Second, to reduce time consuming and lab expensive labeling process, we propose to learn knowledge from other sources, e.g. web images, to build semantic models for visual media. Third, we will study to integrate incremental learning and transfer learning into a unified learning process. By doing this, the semantic model can be updated to adapt the dynamics of media semantics. The aim of this project is to make a breakthrough in the area of wetland ecological monitoring and we believe it will advance the development of computer vision.

湿地是地球上最重要的生态系统之一，在调节全球气候和维持区域生态平衡以及提供野生动植物的生存环境方面具有重要作用，其中对湿地水鸟的生态监测已成为当前国际上的热门研究领域。随着数字化成像设备的快速发展，如何自动分析和理解海量监测图像与视频中水鸟行为是目前湿地生态监测与管理所面临的重要挑战。针对海量监测数据中存在的缺乏标注、数据多源异构以及动态变化的问题，本项目研究构建多源异构数据知识迁移的分析与标注框架。在该框架下，首先具体讨论构建异构特征空间的共同特征空间，从多源异构的数据中提取共同特征用于语义模型学习。其次，为解决海量数据的人工标注问题，本项目提出借助互联网媒体数据进行联合深度迁移学习以生成监测目标的语义模型。最后，针对动态变化的生态监测数据，拟研究基于增量学习的语义模型更新算法。本项目为湿地水鸟监测智能化提供有效的方法，对推动跨媒体视觉内容分析与理解技术的发展具有重要的意义。

湿地是地球上最重要的生态系统之一，在调节全球气候和维持区域生态平衡以及提供野生动植物的生存环境方面具有重要作用，其中对湿地水鸟的生态监测已成为当前国际上的热门研究领域。本研究主要关注于海量湿地与水鸟监测数据中所包含的多源异构数据协同分析问题。针对海量监测数据中存在的缺乏标注、数据多源异构以及动态变化的问题，构建多源异构数据知识迁移的分析与标注框架。在该框架下，首先具体讨论构建异构特征空间的共同特征空间，从多源异构的数据中提取共同特征用于语义模型学习。其次，为解决海量数据的人工标注问题，本项目提出借助互联网媒体数据进行联合深度迁移学习以生成监测目标的语义模型。最后，针对动态变化的生态监测数据以及保护区中出现的珍稀水鸟种群，研究基于增量学习以促成生成式零样本学习模型更新。在本项目的研究过程中，通过收集鄱阳湖等地区的水鸟图像及视频数据来验证本项目中提出的基于多源异构数据算法；特别是针对珍稀水鸟检测识别过程中训练样本过少的问题，提出生成式零样本学习算法通过对生物属性的描述来训练泛化性能更好的分类器；构建湿地水鸟图像数据库；建立湿地水鸟图像识别应用系统。研究进展按照原定计划执行，发表相关论文5篇，授权专利1件，软件著作权1件。本项目面向湿地自然保护区水鸟监测对于多源异构数据分析的重要需求，瞄准环境保护、生态监测、计算机视觉、模式识别、机器学习等学科发展的角度，建立基于多源异构数据迁移学习的语义描述新框架，促进视觉计算在保护区水鸟监测的深入发展和应用；探索异构数据迁移学习的新算法和新技术，研制湿地自然保护区监测媒体数据自动标注的原型系统，为自然保护区生态监测、生态数据标注、跨媒体检索等应用领域的研究与系统实现提供关键技术。