基于三维雾幕成像系统的容积式立体显示及其自然交互界面

An ideal 3D interactive interface should allow users to perceive depth information and interact with the 3D contents naturally and intuitively. Despite the immense effort devoted to 3D display technologies, seldom systems have demonstrated these fundamental qualities. This project suggests a novel approach that applies projection mapping to a non-planar and reconfigurable fog screen, thus enabling volumetric data to be displayed in the real 3D space. Users can perceive three-dimensionality naturally and interact with the unencumbered images directly by touching them in mid-air. We will construct the reconfigurable fog screens with two mechanisms. The first one will contain a 2D array of fog emitters that are individually switchable, while the switching pattern is tightly synchronised with the projection. The second approach will consist of a number of fog emitter modules moving on parallel linear motion platforms for reconfiguring the shape of the fog screen. These two mechanisms have complementary advantages. The key advantage of the proposed displays is the immaterial nature and the new opportunities for interaction. The displays will be evaluated with interactive applications based on hand tracking with RGBD camera. The proposed systems do not require eyeglasses, head-mounted devices or eye/head-tracking, while allowing high-resolution, full-colour 3D image to be observed from wide viewing angles by many people at the same time. Most importantly, our immaterial, mid-air displays will allow users to directly touch and manipulate virtual objects in 3D under marker-free and barrier-free settings, which will open up immense tangible and creative interaction possibilities.

理想的三维交互界面应允许用户直观地感知三维深度信息，并自然地与之交互。本项目提出一种新颖的立体显示技术，应用投影映射将立体数据投射到非平面并可重构的雾气屏幕上。用户可直观地感知三维信息，通过直接触摸等简单方法与悬浮在半空中的三维图像互动。本项目将采用两种具有互补优势的机制来设计这种可重构的雾气屏幕。第一种利用排成二维阵列的多个喷雾装置，并根据动态影像的目标位置实时同步改变相关喷雾装置的开闭。第二种通过移动多组安装在直线导轨上的喷雾装置来构造不同形状的雾幕。这种显示技术的最大特点是其非实体特性带来的全新交互体验。本项目将设计多个基于RGBD相机的交互应用来验证系统能给予用户真实的三维交互体验。这套显示系统不需要立体眼镜、头戴式或头部追踪设备，却能允许多个用户从多个视角同时观看到高分辨率的全彩真三维图像，并可无障碍地直接触摸和操纵物体。相信这些优势会为人机交互创造更多、更大、更具创意的可能性。

人们生活在三维的实体世界里，但传统的平面屏幕显示技术只能显示二维图像，这大大限制了我们感知和理解三维真实世界中物体的能力。本项目旨在以最理想的三维交互界面，让用户直观地感知三维深度信息，并且不需要按照软件开发者预先设置好的操作来控制计算机，而是以最自然的交流方式进行人机交互。三年间，本团队成功研发了一种新颖的三维雾幕成像系统，应用投影映射技术将立体数据投射到非平面并可重构的雾气屏幕上，从而创建一个可穿透的三维图像空间，将影像实体化，让用户通过直接触摸等简单方法与悬浮在半空中的立体图像互动，或以混合现实技术创造结合真实和虚拟物体的新环境。我们并设计了一个基于运动感应的创新交互应用，配合深度感应器及编程技术，塑造出虚拟的流体技术效果，产生崭新人机交互的方式。现有的立体显示技术最大限制是用户不能直接触摸或进入图像空间。我们提出了一套全新的容积式三维雾幕成像系统，创建一个开放式的图像空间可以让用户采用直接触碰的方式与图像进行交互。该系统在充分发挥现有平面雾气屏幕优势的同时，创造性地提出三维立体雾气屏幕的概念，采用非平面可重构的雾气屏幕，可以极大地拓展雾幕投射技术的应用范围和发展潜力。该系统的图像空间不受复杂机械结构的限制，可以显示多重尺度范围的高分辨率图像信息。另外，与传统的采用穿戴式装置的立体显示系统不同，本项目提出的系统不需要任何额外的辅助设备，拥有更大的观看角度，并能允许多个用户同时使用。基于雾气良好的自然属性，该系统在安全性和环境友好方面相较其他现有技术拥有巨大的优势。低成本的产品设计和真实自然的三维用户体验将使该系统得到普遍推广。