基于外部空间表示的三维复杂交互场景合成方法研究

3D scene synthesis is an emerging line of research in the field of computer graphics. Synthesizing high quality scenes which contain complex spatial relationships is a pressing and challenging problem of scene synthesis. This project aims to build a system which can produce new scenes automatically according to the given input scene, while focusing on the complex spatial relationships. More specifically, the system consists of two parts: the representation of the input scene and the synthesis of new scenes. The first part of our system will be designed based on the open space analysis and our earlier work about the complex relationship representation, and the second part is about the exchange of scene parts while keeping the original spatial relationships. Additionally, we also propose a systematic scheme to improve the efficiency of the system. The proposed algorithms not only can be applied to the virtual scenes, but also potentially used for the robot motion synthesis or the virtual reality games, which heavily rely on the character/virtual object interaction. Another key contribution of our project is the open space analysis theory which provide new ideas for the representation and processing of 3D data.

三维场景合成是计算机图形学中一个引人关注的新兴研究领域。如何合成高质量且包含复杂交互的场景是该领域中迫切需要解决且极富挑战性的课题。本项目拟针对复杂交互场景的合成展开研究，旨在设计一个可以根据输入场景和模型来自动产生新场景的算法。本项目将以场景空间关系表示为基础，结合现有的场景合成技术，针对场景的表示和新场景的生成两个方面来设计合成算法。首先，通过提取基于外部空间表示的交互特征来计算输入场景的模板。然后使用场景模板来约束新场景中模型之间的空间位置关系，通过模板与模型的匹配来生成新的场景。本项目的研究成果不仅可以实现三维复杂交互场景的合成，对目前发展较为初级的复杂交互场景的研究做出重要的补充和促进，而且可以作为一种通用的场景分析和合成方法，用于机器人救灾、体感游戏等现实或虚拟现实场景，而其更大价值在于提出了外部空间分析理论，该理论可以为三维数据的表示和处理提供新的研究思路。

近年来，随着三维数据采集设备的发展，三维场景数据大量增长，如何在已有数据的基础上，生成更高质量的三维内容，成为受人关注的研究问题。与已有工作相比，本项目的独特之处是针对场景中的复杂交互进行深入研究，并在此基础上提出了三维场景中复杂交互的表示、分析和合成方法。在复杂交互的表示和分析方面，提出了一种基于空间关系构建三维场景层次结构的方法，并提出一种提取三维场景重复单元的方法，通过这两种方法可以为三维场景构建更加稳定和精确的层次表示；另外，我们提出一种人与物体的交互运动的表示和检索方法，这种方法可以更精确地对交互运动进行量化比较，在分类和检索任务中都有比已有方法更好的表现。在复杂交互的合成方面，提出一种基于模板的复杂交互合成方法，这种方法可以由少量的场景生成大量多样化的新场景；针对生成速度较慢这一问题，进一步提出一种基于深度神经网络的合成方法，这种方法对已有场景中的空间关系进行学习，可以更快速地生成场景。综上所述，本项目以交互表示为核心，系统地研究了场景合成的多个步骤所面临的问题，提出一系列交互相关的场景分析及合成方法，验证了项目申请书中提出的外部空间理论的可行性和有效性，为三维场景的研究开辟了新的分支、提供了新的思路和理论依据。