基于深度学习的非刚性三维模型多模态检索研究

The 3D model retrieval is a basic research problem and a hot research topic in several different fields, such as computer graphics, computer vision, virtual reality and so on. The non-rigid 3D model retrieval is one of the most complex problems in this research. Aiming at solve the problem, a deep learning based multi-modal retrieval is proposed in this project to allow interactive query of the multi-modal data including non-rigid 3D models, images, sketches and texts, and support the multi-modal data retrieval and comprehensive application. The research contents include: ① the deep learning oriented original representation of 3D non-rigid models, proposing a new representation model combined by laplacian based voxel models and laplacian based geometry images；② the non-rigid 3D models classification based on deep learning, designing a specialized local network module and a sparse sensing module used for non-rigid 3D models, and constructing a combined CNN model based on the two kinds of modules so as to automatically capture the local invariant features of non-rigid 3D models; ③ the construction and feature embedding of a 1/2/3D multi-modal common semantic space, proposing a sparse representation method of non-rigid 3D models based on dictionary learning, proposing a graph-based semi-supervised learning algorithm for constructing a common semantic space and 3D model feature embedding, and proposing a multi-modal data embedding algorithm based on deep symmetric structured joint embedding；④ the multi-modal data retrieval of non-rigid 3D models, proposing a multi-modal indexing and similarity assessment algorithm.

三维模型检索是计算机图形学、计算机视觉、虚拟现实等各个领域的基础性研究问题，受到学者的广泛关注；非刚性三维模型的检索则是其中的难题。本课题针对这一问题，提出基于深度学习的多模态检索技术，旨在实现非刚性三维模型、图像、草图、文本等多模态数据的信息互查，支持各模态数据的检索及综合应用。研究：① 面向深度学习的非刚性三维模型原始表征，提出基于拉普拉斯体素模型和几何图像的组合表征模型；② 基于深度学习的非刚性三维模型分类，设计非刚性三维模型专用局部网络模块及稀疏感知模块，建立混合深度学习模型，自动捕捉非刚性三维模型局部不变特征；③ 1/2/3维多模态共享语义空间的构建及特征嵌入，提出基于字典学习的非刚性三维模型稀疏表征，提出基于图的半监督学习的共享语义空间构造及三维模型特征嵌入算法，提出基于深度对称结构联合嵌入的多模态数据嵌入算法；④ 非刚性三维模型的多模态检索，提出多模态索引及相似评价算法。

三维模型检索是计算机图形学、计算机视觉、虚拟现实等各个领域的基础性研究问题，受到学者的广泛关注。传统基于特征描述符的三维模型检索方法通过人工预设方式获取描述符，难以客观、合理捕捉模型本质特征。基于深度学习的三维模型检索受到三维模型非结构化输入、数据复杂的影响，研究较为迟缓，且整体效果不够理想。与此同时，现有的检索方法往往针对文本、图像、三维模型中的一种，然而现实世界中这些信息可能是同一事物的不同模态，它们彼此关联，描述物体的不同方面。如何有效的发现这些不同模态数据间的关联，支持不同模态数据间的相互查询对模型的检索及综合应用具有显著的意义。本课题针对这一问题，研究了一种普适的深度学习模型，支持刚性和非刚性三维模型的多模态检索，并取得以下成果：（1）研究并提出了多样化的原始表征方法，包括几何图像、结构语义表征、多视图、点云等；（2）研究并提出了基于几何图像、结构语义表征的深度学习模型；提出了基于集成学习的多视图深度学习模型，支持三维模型的多样化分类任务；提出基于无序化点云的深度学习模型，提高分类准确率和实时性；拓展多模态概念，进一步探索了细粒度三维模型分类、零样本三维模型分类；（3）构建了1/2/3维多模态共享语义空间的构建及特征嵌入，支持文本、草图、三维模型之间的互检索，显著提高了手绘草图-三维模型检索准确性；（4）实现了多模态三维模型检索原型系统。综上所述，本课题在深度学习的基础上，针对多模态三维模型检索提出较为前沿的理论研究，其研究成果将具有较高的理论价值和一定的应用价值。