基于认知机理和手势动画的三维人机交互界面研究

对手势交互的认知机理、基于自然手势交互的3D人机交互界面的模型和算法、以及交互界面评价等基于自然手势的三维人机交互界面中的部分关键问题展开研究。揭示基于手势自然交互的认知机理，在3D人机交互界面中发现注意机制、交互意图和认知行为模型之间的内在联系，构建基于手势输入的3D人机交互界面的认知基础，探索让用户可以"感觉到"自然交互的认知依据。提出"虚""实"融合及其实现机制；研究用户对其手势模型的关注度随交互时间、交互任务和交互环境而变化的分布图，从注意机制角度出发确定"虚""实"之发生时间、发生场合和发生方式。提出基于手势动画的手势检索、形变和交互的一般方法；提出基于"选择"和"操作"的统一界面范式。提出基于认知机理和3D手势动画的、"虚""实"结合的、以满足自然高效人机交互之需要为目标的直接操作型3D实时人机交互界面的研究设想，为虚拟现实、3D动漫游戏和其它3D应用系统提供愉悦的用户体验。

在2012.1-2015.12期间，在国家自然科学基金项目(项目编号：61173079)的资助下，项目组已发表相关论文38篇，其中，在《Pattern Recognition (PR)》、《Information Sciences》等期刊上发表SCI论文11篇（其中，JCR二区论文3篇），在《计算机学报》、《软件学报》等EI期刊论文上发表论文13篇，在重要国际学术会议上发表论文14篇，指导硕士学位论文11篇。此外，还有部分论文正在审理之中，部分论文正在整理之中；在该项目的资助下，后续又分别获得国家自然科学基金项目1项、山东省科技攻关计划项目1项；获授权发明专利2项；获得省部级奖励2项；编写专著2部；国内外学术交流达到45人次，邀请国外专家2人次来访，16人次国内专家来访。. 本项目在手势特征提取与识别、3D手势跟踪、基于体感交互的认知机理、基于行为模型和动画技术的三维手势跟踪与交互以及智能感知与隐式交互等方面取得了原创性研究成果，达到了预定研究目标。原始创新表现在几个方面：从注意机制、交互意图和认知行为模型等角度揭示手势自然交互的认知机理，建立基于人手输入的、自然方便和谐的3D人机交互界面的认知基础，为关键算法设计提供基本依据；研究在手势动画和用户的实际手势之间建立实时关联及其数学变换方法，它不仅可以构造出多样性的手势交互界面风格，而且为集成化和智能化人机交互界面的深入研究奠定基础；提出对手势动画进行检索和形变的一般性方法，使得变换后的手势动画与用户的运动风格相一致；提出“虚”、“实”概念及其融合机制；揭示在3D人机交互界面中发现注意机制、交互意图和认知行为模型之间的内在联系，构建基于手势输入的3D人机交互界面的认知基础；研究用户对其手势模型的关注度随交互时间、交互任务和交互环境而变化的分布图，从注意机制角度出发确定“虚”“实”之发生时间、发生场合和发生方式，为虚拟现实、3D动漫游戏和其它3D应用系统提供愉悦的用户体验。此外，项目组还进行了拓展性研究：（1）实现了将研究成果在青岛海信集团公司的示范应用；（2）初步研究了基于手势输入的隐式交互及其在智能电视、智能窗帘等方面的应用示范；（3）3D手势曲面建模、运动预测以及运动捕获；（4）以降低用户认知负荷为目标的手势交互界面范式研究。