基于图像的多模式力触觉表达与再现方法研究

Haptic interaction technology is an important part of human-computer interaction in virtual reality. It realizes haptic feedback to human through stimulating the human haptic perception process of real objects in virtual environment. This greatly improves the interactivity and telepresence of the virtual environment. While the images as a three-dimensional real scene in the two-dimensional camera imaging plane projection, retain rich information of the object surface. Therefore, the study of haptic display of images has attracted wide attention of researchers. With the application of virtual reality technology in the fields of blindness, medical treatment, mobile terminals and special operations, image-based haptic display technology usher in new opportunities and challenges.

力触觉人机交互技术是虚拟现实中人机交互的重要组成部分，它通过模拟人类对真实物体的力触觉感知过程，将虚拟环境的力触觉信息真实地反馈给人，极大地提高了虚拟环境的交互性和临场感程度。而图像作为三维真实场景在二维照相机成像平面上的投影，保留了物体表面丰富的信息，因此图像的力触觉再现研究吸引了研究者们的广泛关注。本项目旨在研究基于图像的多模式力触觉表达与再现方法，即将图像的三维几何形状和细节纹理两个部分分离，准提取两类不同的图像特征信息，并在人的力触觉感知生理心理学实验的基础上，分别进行三维力建模和振动触觉建模，利用不同的力触觉表达模式对图像中的目标进行三维几何形状和细节纹理（材质）的力触觉再现，突破以往图像处理运算复杂和力触觉感知模式单一的局限性，从而使操作者通过力触觉感知图像中目标表面的特征，实现虚拟环境中身临其境的力触觉效果。

本项目研究了基于图像的多模式力触觉表达与再现方法，完成了全部研究内容，达到了预期目标，研究内容主要包括：（1）研究分析图像中三维几何纹理和细节纹理的不同，提出一种综合的偏微分图像分解方法，将二者进行分离，解决了图像中物体表面的三维几何形状和细节纹理（材质）触感混淆问题；（2）提出一种基于明暗恢复形状技术与图像目标压力检测信息融合的三维力建模方法，用压力检测信息来校正错误的明暗特征，保证了三维模型的准确性，提高了三维力建模的真实感；（3）针对图像细节纹理（材质）的力触觉特性，通过大量的人的振动触觉感知实验，提出一种基于压电陶瓷的图像细节纹理特征的触觉建模方法，实现了虚拟物体细节纹理的振动触觉再现，力触觉感知实验效果更具真实感；（4）提出了图像的多模式力触觉再现方法，在力反馈设备基础上设计了基于压电陶瓷的振动触觉再现集成装置，构建了基于此集成装置的多模式图像力触觉表达系统，通过对图像的多特征提取，并分别进行力触觉建模与再现，实现了图像的多模式力触觉表达与感知，通过人的力触觉感知实验证明图像的多模式力触觉再现方法能够有效提高力触觉感知的真实性。.本项目发表论文7篇，其中SCI收录6篇，申请发明专利2项，培养硕士研究生3名。