形变虚拟网格模型的直接三维交互研究

The virtual mesh model deformation is one of the most important mesh processing technologies, but now they are mostly based on 2D interaction only, which is not convenient or intuitive enough. With the rapid development of the technology of augmented reality, 3D interaction has improved a lot. This project will focus on the virtual mesh model deformation, based on the existing 3D interactive technology, and propose a new direct 3D interaction mode, and to build an interactive system for virtual mesh model deformation. The project's main research content and objectives: (1) according to the existing conditions about the depth camera, with the display equipment, research how to let the user can facilitate the interaction, but also can obtain the correct feedback; (2) based on the data captured by the depth camera, research on the surface reconstruction of point cloud, mesh merging, computing the mesh motion by the optical flow method, estimating the interactive motion; (3) in order to realize the composite action, using speech recognition, analyzing user interactions expectations and classifying, and then composing the composite interactions. The achievement of the project would be applied to the deformation of the virtual mesh model, and other applications of direct 3D interaction.

虚拟网格模型变形是一项重要的网格处理技术，但是现在它们大多还是基于二维交互来进行，比较不方便、不直观。随着增强现实技术的发展，三维交互技术也有了很多进步。本课题将针对虚拟网格模型变形，基于已有的三维交互技术，提出一种新的直接三维交互方式，并搭建起一个交互系统用于变形虚拟网格模型。本课题的主要研究内容和目标：（1）根据现有的深度摄像机的条件，搭配显示设备等，研究如何让用户既能方便交互，又能获得正确反馈；（2）基于深度摄像机获取的数据，研究点云网格化，网格块拼接，光流法计算网格动态，交互动作估计；（3）为了实现复合动作，借助语音识别，分析用户交互期望并分类，合成复合交互动作。该课题的研究成果将可应用于虚拟网格模型变形，以及其它需要直接三维交互的应用中。

近年来，计算机图形学、计算机动画、显示硬件等取得了迅速发展，三维模型处理技术的应用由原先的设计为主，逐渐加入新的主题：模拟现实世界，虚拟和现实交互。即从以前的“把计算机设计的模型做到现实世界中”逐渐增加“把现实世界物体放入计算机的虚拟环境中”和“让现实世界和虚拟世界进行交互”。现在，三维模型处理可以应用于工业产品设计、虚拟现实、三维游戏、影视动画、广告设计等。三维模型被广泛应用，并且为了逼真地描述丰富多彩的现实世界和人类的想象力，需要在不同的场景，根据不同的应用，去生成新模型或旧模型的新姿势。网格模型变形是构造模型的一个关键技术。虽然网格模型变形算法已经有很多研究，但是与之对应的操作手段研究还不够。如何让网格模型变形的操作更容易、更直观，是一个很有价值的研究领域。而另一方面，三维交互手段正在逐渐发展起来，从佩戴传感设备到直接徒手交互，也已经有了不少的研究成果。但是已有研究主要侧重于针对刚性虚拟网格模型的操作。另外，当前在操作时，通常期望能够无线控制，对无线网络传输也提出了更高的要求。.本项目将基于已有的直接三维交互技术，构建一个可用于形变虚拟网格模型的直接三维交互系统。有了这样一个系统，用户将能够跟虚拟网格模型直接进行三维交互，不需要佩戴任何传感设备，徒手就可以进行，还可以双手同时参与，并且多点操作。基于该系统，用户将可以更加方便、更加直观地对虚拟网格模型进行变形，从而更快更好地生成新模型。.经过整个项目执行过程，本团队成员取得了一定的成果，其中包括发表4篇论文，其中1篇被SCI/SCIE检索，申请发明专利1项。该专利申请所处的状态为已经接受到“授予发明专利权通知书”。在开展过程中，指导了10位本科生毕业设计，提高了学生对前沿知识的理解。另外，还基于所开发的系统正在申请一个软件著作权。该系统综合了所研究的成果，将可应用于三维交互、虚拟交互、模型编辑、虚拟实验室等领域。