手势驱动的直接操纵3D人机自然交互界面中的透明性模型和算法研究

For the pseudo nature problem in hand gesture driven 3D direct manipulation human-computer interaction interface, we conduct original research in three aspects, which are transparency of virtual interface, transparency of mappings among "the three space" and transparent catering respectively from three levels: theoretical models, technical methods and application prototype. We further reveal the cognitive mechanism and behavioral characteristics of transparent perception technology based on virtual interface, the cognitive mechanism and behavioral characteristics in the process of users' semantic selections, the relationship among the distribution of function blocks, users' behavior model and pleasure experience, the relationship between users' pleasure experience of transparent manipulations and cognitive loads, and the general mechanism of transparent collaboration between human and computer, which provide systematic cognitive foundations for the research of transparent interface. We propose and construct several general mathematical models for transparent interaction interface research, including catering computation models, optimized estimation models of gesture semantics and manipulative gestures, the virtual interface and its transparent cognitive models. Crossed and fused with the theory and method of pervasive computing, our methods provide a new presentation of information space and physical space from different points of view and a new way to fuse them. This project will provide new paradigms of human-computer interaction interface for remote platforms such as intelligent digital televisions and mobile platforms such as intelligent mobiles.

针对手势驱动的直接操纵3D人机交互界面中的"伪自然性问题"，从理论模型、技术方法到应用原型三个层次，从"虚拟界面"的透明性、"三空间"之间映射关系的透明性、透明性"迎合"等三个层面进行原创性研究，进而揭示基于虚拟界面的透明感知技术的认知机理和行为特征，揭示用户在语义选择过程中的认知机理和行为特征，揭示功能块的分布与用户行为模型和体验愉悦感之间的关系、透明性操作的愉悦体验度与认知操作负荷之间的关系及人-机之间透明协作之一般机理，为透明交互界面的研究提供系统性的认知基础；提出并构建迎合性计算模型、手势语义和操作手势的优化估计模型、虚拟界面及其透明感知模型等基本模型，为透明交互界面的研究提供一般性的数学模型；与普适计算的理论和方法进行交叉和融合，从不同的角度诠释信息空间和物理空间的表达方式及其融合的新途径。本项目将为数字智能电视等远程平台以及手机等移动平台提供全新的交互界面范式。

尽管由于其方便性、直觉性和灵活性，使得基于视频输入的3D手势输入交互成为自然交互界面的首选输入通道，并引起学术界和产业界的深刻关注，但是，在多年的理论研究和项目实践过程中，研究者发现目前手势交互系统普遍存在易于操作疲劳、手势命令难记等问题，这些问题已经引起了用户的普遍批评和不满，严重阻碍了基于自然手势的自然交互界面的普及和应用。针对这些问题，以项目组前期研究为基础，本项目提出采用透明交互界面来解决这些问题的研究设想。. 本项目针对手势驱动的直接操纵3D人机交互界面中的“伪自然性问题”，从理论模型、技术方法到应用原型三个层次，从“虚拟界面”的透明性、“三空间”之间映射关系的透明性、透明性“迎合”等三个方面为主要研究内容进行研究。. 本项目在以下三个方面取得原创性突破：①提出人——机相向互动协同模型与算法，实现了从“以机器设备为中心”、“以人为中心”到“人——机协作”关系的转变；②提出了构建手势与语义意图之间的柔性映射模型与算法，揭示了一种让用户不记忆或少记忆手势命令的新机制；③为解决视觉条件下的“Midas Touch”问题，提出一种简单而高效的解决方法。. 本项目的关键发现：（1）面向手势隔空操作的虚拟界面是客观存在的，它与心理模型、手势行为模型相关联；（2）只有通过虚拟界面发出的命令才是有效的手势命令；（3）虚拟界面不仅 不会额外增加用户负荷，反而增强用户体验；（4）人—机协作可以极大地改进人机交互的透明性；（5）人机协作的关键是计算机（设备）对用户交互意图的精准感知；（6）一旦计算机（设备）感知到用户的交互意图，就能采用“镜像”、“互补”等方法构建人机协同计算模型；（7）在相同的交互情境下，同一个手势往往表达不同的语义意图；同一个语义意图往往可以用不同的手势进行表达；（8）把问题“用户记手势命令难”转变为另一个问题“用户相关生活经验少”；（9）交互的透明性无处不在、无时不在，其本质特征是人机协作。