基于互补学习机制的无人机航拍图像弱监督语义分割研究

Large-range, multi-scale, high-precision semantic annotation technology is one of the main difficulties in the semantic understanding of unmanned aerial photography. There are few challenges currently, namely the lack of high quality annotations, poor segmentation accuracy resulting from various scale and objects shooting angle changes. In this project, a set of semantic segmentation and image tag generation is proposed for the task of semantic segmentation under one unified framework. The research contents mainly include: (1) comprehensively using the "aerial-aero-ground" integrated data to generate image-level category information; (2) using the intra-class migration mechanism to generate significant object-level label; (3) realizing the use of category complementary information for weakly supervised semantic segmentation. Compared with the traditional image level understanding of aerial image, the semantic aerial image has great information transformation advantages and has important value in the future military and civilian fields.This project provides a new technical approach for intelligent and autonomous information sensing for UAV aerial imagery. It has important research significance and broad application prospects and can be applied to homeland security, disaster assessment, urban planning and other fields.

大场景、多尺度、高精度的语义标注技术是无人机航拍图像语义理解的主要难点之一。本项目针对目前航拍图像语义分割任务中存在的高质量标记样本不足、拍摄角度多变、拍摄对象复杂引起的精度不高的问题，创新性地提出了一套将语义分割与图像标签生成、弱监督学习相结合的方法，在统一的模型框架下实现航拍图像语义分割研究。研究内容主要包括：（1）综合利用“空-天-地”一体化数据生成图像级标签信息；（2）利用类内迁移机制生成高可判别的物体框级标签；（3）搭建利用类别互补信息进行航拍图像弱监督学习的语义分割模型，实现图像精细的语义理解。相较于传统目标层级的航拍图像理解方式，语义化的航拍图像有着巨大的信息转化优势，在未来军民领域有着重要的价值。本项目为无人机航拍图像向智能化、自主化信息感知发展提供了新的技术途径，可应用于国土安全、灾害评估、城市规划等领域，有着重要的研究意义和广泛的应用前景。

语义分割是计算机视觉的传统任务之一，也是无人机视觉中的热点应用，对于精细化场景感知、高层次语义理解具有重要的研究和应用价值。本项目组针对语义分割任务中由于样本依赖导致的实际应用受限问题，提出了使用弱监督学习的方法，在少量图片级或物体框级标注的基础上，充分挖掘数据深层次关联特征，实现较好的分割效果。此举可以有效降低对于像素级标注的依赖，进而减少标记成本。本项目首先通过分析特征图对不同类别的响应差异，提出了使用注意力机制的弱监督分割方法，降低了对像素级精细化标签的依赖；其次，针对同类别样本类内差异度大的问题，借鉴了迁移学习的思想，设计了域自适应的分割网络，解决了由于场景变化导致的模型性能下降问题；之后，探索了针对前背景差异性的双通道网络设计思想，初步验证了针对类别表征不一致进行差异化特征提取的可行性；最后，基于项目组的部分研究内容，在机载平台上进行了应用验证，相关成果获得黄河水利科学研究院信息工程中心的应用成果证明1项，并基于该平台参与了中国高校计算机大赛-人工智能创意赛，取得全国一等奖1项。