基于关系学习的三维内容生成技术研究

3D content creation is a long-standing and challenging topic in computer graphics. In recent years, the combination of deep learning and 3D content creation has become the frontier research of 3D modeling. According the problems existing in the 3D modeling of man-made objects and indoor scenes, this project is interested on the relationship study between the shape parts and scene objects. Targeting 3D content creative generation and 3D reconstruction from single view images, we will propose novel solution based on relational learning to improve both the correctness of shape structure and the quality of 3D model. This project aims at coming up with 3D content creation methods that are both technically novel and practically useful, and strives to make substantial contributions to the study and application of relational learning in 3D content creation.

三维内容生成一直是计算机图形学领域具有挑战性的课题。近年来，深度学习技术与三维内容生成的结合成为三维建模领域的研究前沿。本项目面向人造物体和室内场景几何建模中存在的问题，立足于生成对象的关系构成，研究以模型部件和场景物体为载体的关系学习机制。围绕创造式生成和单视角图像三维重建，本项目提出基于关系神经网络的三维内容生成解决方案，力争在模型关系结构正确性和生成质量两个方面取得提升，形成创新性和实用性兼备的三维内容生成方法，为关系学习在三维内容生成中的应用研究做出前瞻性贡献。

本项目主要研究基于部件级关系学习的三维内容生成技术，围绕模型结构正确性和生成质量两个核心问题，提出了基于部件级组装的新型三维模型生成方法，可通过随机向量创新式地生成三维模型或通过单视角图像生成与图像内容一致的三维模型。由于将三维模型的生成拆解成部件级的生成以及部件级的组装，一方面部件级的生成简化了三维内容的生成难度，同时提升了模型的生成质量，另一方面，通过部件级的关系学习将各部件组装成合理的三维模型，能够更好的保证生成模型的结构正确性。该项目共支持发表学术论文4篇，包括CCF A类会议2篇，CCF B类期刊和C类期刊各1篇，截至目前5篇论文共获学术引用139次。