图像数据驱动的三维模型集标注技术研究

The segmentation and labeling of collections of shapes is a fundamental problem in computer graphics, which plays an important role in many tasks, such as shape retrieval, geometry modeling, scene understanding and so on. This project will focus on the study of efficiency and accuracy of labeling techniques for collections of shapes, and aims to effectively transfer the labeling information from massive image data to 3D shapes. We will concretely discuss the potential of cross-modal research between images and 3D models, study some key problems, such as information fusion, information transfer and so on, and systematically provide our solutions. The main tasks of this research include: 1) Research on the fusion strategies among the cross-modal data; 2) Research on the transfer learning problem to transfer the labeling information from images to 3D models; 3) Research on a crowd-sourced active learning technique to labeling huge collections of shapes; 4) Study the fine-grained classification problem of collections of shapes based on deep learning.

三维模型集的分割和标注是计算机图形学的基础、重要研究问题。在很多应用中，例如：模型检索、建模、场景理解等，它都起着关键的支撑作用。本项目拟面向大量三维模型集的高效、精确标注问题，深入地研究跨模态数据驱动的标注技术，从而有效挖掘和重用已有图像数据集的语义信息。项目将具体地探讨跨模态数据集研究的潜力，同时结合前沿的深度学习技术，重点研究二维图像与几何模型之间的信息融合、迁移等问题，并系统地提出我们的解决方案。主要研究内容包括：1).研究跨模态数据间的融合策略。2).研究跨模态数据间信息的迁移。3).研究面向海量数据集的众包标注问题。4).研究面向海量数据集的细粒度、多层次语义标注问题。

三维模型集的分割和标注是计算机图形学的基础、重要研究问题。在很多应用中，例如：模型检索、建模、场景理解等，它都起着关键的支撑作用。本项目拟面向大量三维模型集的高效、精确标注问题，深入地研究跨模态数据驱动的标注技术，从而有效挖掘和重用已有图像数据集的语义信息。项目具体地探讨跨模态数据集研究的潜力，同时结合前沿的深度学习技术，重点研究二维图像与几何模型之间的信息融合、迁移等问题，并系统地提出我们的解决方案。.围绕该目标，项目分别提出了联合分析图像与三维模型方法、基于圈卷积网络的形状协同分割方法、基于多视图原型网络的模型识别方法、基于套索网络的点云选择方法等。这些工作都从效率和精确性等方面优化了传统方法。为研究领域提供理论模型和方法，同时能有效地解决产业界问题。