三维触觉人机交互界面研究

The purpose of this project is to improve the reality and effectiveness in 3D user Interaction. We will study several haptic modalities, such as vibration, pressure and kinesthetic. And also we want to apply these haptic modalities into 3D user interaction and expand the interactive channel. This project will explore the relationship between haptic information and 3D interaction and improve the efficiency and accuracy. Actuator is used to supply the vibration feedback. Several vibration patterns are investigated based on different vibration frequency, amplitude and vibration location. Pressure from pressure sensor is used as haptic input information. User's intention is recognized with pressure information by pattern recognition algorithm. How to divide three-dimensional space into several parts with kinesthetic modality is also a very interesting scientific question. This research is suitable for the four themes in the Reality-based interaction. It will be helpful for the theories and techniques for applying haptics into 3D natural user interaction.

本项目以提高三维交互的真实感和有效性为目的，通过深入研究和利用振动、压力和肌肉运动感知觉等触觉属性，在三维交互过程中传递触觉交互信息，拓展视听交互带宽。探求触觉信息与三维空间操作的内在联系，提高触觉信息在三维操作中的效率和准确性。主要通过马达提供振动反馈，研究多种振动模式（根据不同的振动频率，振幅及振动位置），提供低成本、实用化、真实感强的触觉反馈；通过压力传感器获得压力信息，作为触觉输入，结合模式识别算法，捕捉用户意图；用户通过肌肉运动感知觉建立空间感，作为触觉输入信息，触发交互行为。本项目符合下一代用户界面的需求，为加快用户利用触觉信息在三维空间自然的交互提供了理论和技术准备。

本项目根据项目申请时制定的研究内容和目标开展研究，以提高三维交互的真实感和有效性为目的，通过深入研究和利用振动、压力和肌肉运动感知觉等触觉属性。研究纹理这种触觉特性在人机交互中的划线任务和笔势任务上对用户表现的影响；搭建软硬件系统，涉及不同种的振动模式，探索振动模式在空间位置及移动速度对应关系；通过压力信息和方向信息感知用户意图，实现“所握即所得”的交互界面；应用人体自身的肌肉运动感知觉，探寻人在三维空间的划分能力。本项目符合下一代用户界面的需求，为加快用户利用触觉信息在三维空间自然的交互提供了理论和技术准备。在项目执行的三年里，项目组取得了一系列的研究成果。2014年获得中国商业联合会科学技术一等奖1项；项目共发表标注该项目资助号的学术论文19篇（其中中国计算机学会推荐目录CCF B类杂志1篇（SCI检索），SCI检索论文4篇，EI检索论文5篇，中文核心期刊4篇，其他会议论文5篇）。授权美国国际发明专利1项，申请中国发明专利6项，获得授权的实用新型专利4项，申请并获得软件著作权4项。总体完成情况良好，超额完成了项目申请书中的预期成果。