联合可测点云/多视角图像的大规模对象标记数据集生成方法研究

Large-scale labeled datasets provide data and knowledge base for scene understanding and object recognition. There is a huge demand of large-scale datasets in the robot, autonomous driving and virtual reality applications. Due to the restriction of large-scale data sources and the current manual labeling efficiency, there is still a lack of large-scale, multi-class and multi-dimension labeled dataset. This project combines with 3D georeferenced point clouds and multi-view images from mobile laser scanning system and sufficiently exploits the connections and restrictions between the 2D and 3D data to carry out large-scale object dataset generation method research. Four parts to be carried out: research on 3D point clouds and multi-view images jointed labeling based on label propagation; research on 3D point clouds and multi-view images jointed labeling based on active learning with few labeled samples; research on 3D point clouds and multi-view images jointed fine segmentation method; research on labeling quality evaluation method with unlabeled samples. The proposed research will provide essential data support for 3D perception research field by constructing and releasing a multi-dimensional large-scale dataset, and promote the object recognition and scene understanding research field.

大规模标记数据集可为场景理解和对象识别提供重要数据支撑和知识基础，在机器人、自动驾驶和虚拟现实等应用领域中有巨大的需求，然而由于大规模数据来源及目前人工标记标签效率的制约，导致缺乏大规模、多类别、多维度的标记数据集。本项目以车载移动测图系统获取的大规模多维度数据为突破口，充分利用二维/三维数据间的跨维度关联和约束，联合三维可测点云/多视角图像开展大规模对象标记数据集生成方法研究，具体包括：研究基于标签传递的三维点云/多视角图像联合标记方法；建立小样本下基于主动学习的三维点云/多视角图像联合标记方法；探索三维点云/多视角图像联合精细分割方法；探讨无标签样本下的标记质量评价理论和方法。研究成果将构建并公开一个多维度联合精细标记的大规模对象标记数据集，为提高三维环境认知研究做数据支撑，并将有力推动场景和对象的智能感知水平。

大规模标记数据集可为场景理解和对象识别提供重要数据支撑和知识基础，在机器人、自动驾驶和虚拟现实等应用领域中有巨大的需求，然而由于大规模数据来源及目前人工标记标签效率的制约，导致缺乏大规模、多类别、多维度的标记数据集。本项目以车载移动测图系统获取的大规模多维度数据为突破口，充分利用二维/三维数据间的跨维度关联和约束，联合三维可测点云/多视角图像开展大规模对象标记数据集生成方法研究，具体包括：研究基于标签传递的三维点云/多视角图像联合标记方法；建立小样本下基于主动学习的三维点云/多视角图像联合标记方法；研究三维点云/多视角图像联合精细分割方法；研究无标签样本下的标记质量评价理论和方法。研究成果发表了学术论文14篇（1篇ESI高被引论文），获批了发明专利 5 项（已转化4项），培养了6个学生，支撑了1项行业标准，构建并公开了多维度联合精细标记的对象标记数据集。以本项目为基础，申请人还新获批了一项2022年国家自然科学基金面上项目。本研究不仅为提高三维环境认知研究做数据支撑，并有力了推动场景和对象的智能感知水平。