基于空间感知的混合现实徒手自然交互技术研究

Mixed reality as a new form of three-dimensional user interface, has attracted great concern in research community. Bare hand natural interaction as one of the highest points, is an urgent need for many application areas. This project addresses bare hand natural interaction techniques in mixed reality environments, with the user's spatial perception of mixed reality environments as a starting point, and the real-time capture of user interactions and the understanding of user intentions as the core. The main research contents include requirement analysis, usability/user experience evaluation, and interaction space modeling for bare hand natural interactions in mixed reality environments, mixed reality rendering techniques to enhance the user's spatial perception, bare hand segmentation in complex backgrounds and robust real-time bare hand tracking, and representation of the user's actions and recognition of the user's intentions. The final goal of the project is to introduce the bare hands as natural 'physical tools' into mixed reality environments to realize intuitive, natural, and resonant interactions with the reality-virtuality continuum.

混合现实作为一种新兴的三维用户界面形式，引起了研究人员的极大关注。徒手自然交互作为其中的制高点，为许多应用领域所亟需。本项目以用户对混合现实环境的空间感知为切入点，以徒手交互运动的实时捕获和用户交互意图的理解为研究核心，对混合现实徒手自然交互的用户需求分析与可用性/用户体验评估及交互空间建模、增强用户空间感知的虚实融合绘制方法、复杂背景下的人手分割及鲁棒的实时运动跟踪、徒手自然交互动作的表示及用户意图识别等问题展开深入研究，力争突破混合现实徒手自然交互中的关键技术，将真实人手这一天然的"实物工具"引入混合现实环境，实现人与现实-虚拟连续体的直观、自然、和谐的交互。

混合现实作为一种新型的三维用户界面形式，引起了研究人员的极大关注。徒手自然交互作为其中的制高点，为许多应用领域所亟需。本项目以用户对混合现实环境的空间感知为切入点，以徒手交互运动的实时捕获和用户交互意图的理解为研究核心展开研究，取得了一定的研究成果。首先，在对混合现实徒手自然交互进行需求分析、可用性/用户体验评估的基础上，建立了人手自然交互模型，通过引入双四元数表示，在不损失交互效率的前提下，有效地提高了人手交互模型的质量；其次，从多角度探索研究了增强用户感知的虚实融合绘制技术，提出了鲁棒的基于计算机视觉的摄像机跟踪方法、建立了具有空间一致性的集成式混合现实用户创作工具、提出了适合于用户理解的具有深度提示效应的虚实融合绘制方法；最后，在研究复杂背景人手分割及运动跟踪方法的基础上，提出了基于轨迹分割的徒手交互动作的表示及用户意图识别方法。项目突破了混合现实徒手自然交互的关键技术，为将真实人手这一天然的“实物工具”引入混合现实环境，实现人与现实-虚拟连续体的直观、自然、和谐的交互打下了重要基础。项目共发表学术论文9篇（其中SCI期刊论文２篇，EI期刊论文２篇，核心期刊论文２篇），申请国家发明专利3项（获批2项），培养研究生9人。本报告主要从人手自然交互建模、增强用户感知的虚实融合绘制技术、基于轨迹分割的徒手交互动作的表示及用户意图识别方法等方面比较全面地总结了项目研究成果。