残缺和异质三维模型簇的对应关系协同计算与协同一致分割研究

At present, researches on correspondence and segmentation of 3D shapes are mostly restricted to either isometric or near-isometric shapes, however, correspondence co-calculation and consistent co-segmentation on partial, non-isometric or heterogeneous collections of 3D shapes is increasingly becoming an important and hot research topic. This project aims to study correspondence co-calculation and consistent co-segmentation on complex 3D shape collections. The main research contents include studying; firstly, correspondence co-calculation of partial and full shape collections based on multi-view convolutional neural networks. Secondly, how to use deep residual networks to co-calculate the correspondence of collections of non-isometric shapes. Thirdly, how to utilize hybrid convolutional neural networks to construct correspondences between 2D shape contour and 3D shape collections. Fourthly, how to use the features of segmented regions for consistent co-segmentation of incomplete collections of shapes. Fifthly, how to achieve consistent co-segmentation of the heterogeneous collections of 3D shapes by using deep convolutional neural networks. This project will help to establish series of new algorithms for correspondence co-calculation and consistent co-segmentation based on the deep learning networks, achieve theoretical breakthrough for correspondence co-calculation and consistent co-segmentation of 3D shape collections, and to further promote the development of related research and their applications in the field of computer graphics and computer vision.

目前关于三维模型的对应关系计算和分割的研究大多局限于两个等距或近似等距的模型间，而针对部分模型簇、非等距模型簇和异质模型簇的对应关系协同计算和协同一致分割的研究处于起步阶段，是一个热点和难点问题。本项目拟研究复杂的三维模型集合的对应关系协同计算和协同分割问题，主要研究内容包括：一、研究基于多视角卷积神经网络的部分与整体模型簇的对应关系协同计算；二、研究如何使用深度残差网络协同计算非等距模型簇的对应关系；三、研究如何利用混合模型卷积神经网络构建二维形状与三维模型簇的对应关系；四、研究如何利用分割部件的特征进行残缺模型簇的协同分割；五、研究如何利用深度卷积神经网络进行异质模型簇的协同分割。本项目的开展将有助于建立基于深度学习网络的三维模型集合的对应关系协同计算和协同分割方法体系，实现三维模型簇的对应关系计算和协同分割等方面的理论突破，促进计算机图形学和计算机视觉的相关研究和应用的进一步发展。

在计算机图形学和计算机视觉领域中，构建三维模型间的对应关系是一项重要的基础性研究工作。当模型发生了大尺度非等距变换，或是在异质模型簇之间进行变形迁移时，三维模型簇的对应关系计算和协同一致分割变得非常困难，主要表现在无法构建完整模型与部分模型（即缺少某些部件，或表面有孔洞的残缺模型）间的函数映射方程，无法同时完成模型簇中各模型间对应关系的协同一致计算，难以在部分模型簇和异质模型簇内建立三维模型间有效的语义部件匹配关系。.本项目研究复杂的三维模型集合的对应关系协同计算和协同分割问题，主要研究内容包括：(1)基于多视角卷积神经网络的部分与整体模型簇的对应关系协同计算。(2)如何使用深度残差网络协同计算非等距模型簇的对应关系。(3)如何利用混合模型卷积神经网络构建二维形状与三维模型簇的对应关系。(4)如何利用分割部件的特征进行残缺模型簇的协同分割。(5)如何利用深度卷积神经网络进行异质模型簇的协同分割。.本项目取得的重要研究成果有：(1)提出利用部分函数映射理论计算残缺模型与完整模型、残缺模型与残缺模型间对应关系的理论方法。(2)提出利用极限模型的规范一致潜在基协同计算非刚性三维模型簇对应关系的理论方法。(3)提出构建混合监督深度函数映射网络计算三维模型对应关系的理论方法。(4)提出构建无监督动态图卷积循环一致函数映射网络协同计算非刚性三维模型簇对应关系的理论方法。(5) 提出利用模板变形理论计算非刚性变换的三维模型间稠密对应关系的理论方法。(6) 提出利用隐式解码器的无监督三维模型簇协同分割方法。(7)提出结合图卷积神经网络，构建深度级联卷积神经网络的三维模型分割方法。.本项目的研究成果将会对部分（残缺）模型与完整模型、大尺度变形的非等距模型簇以及异质模型簇的对应关系协同计算提供完备的理论指导，建立了基于深度学习网络的三维模型簇协同一致分割方法体系，对计算机动画、计算机视觉、虚拟现实、元宇宙、自动驾驶等领域有十分重要的应用价值。