自然人机交互基础理论和方法研究

The project aims to investigate the basic theories and models of natural human-computer interaction from user and system perspectives, focusing on mental model, motor behavior model, interface metaphor and paradigm, and performance model. Moreover, a framework will be proposed for representing and analyzing the common basic features of natural user interface such as continuity, multi-dimension, timeliness and uncertainty. The project also investigates key techniques of natural human-computer interaction such as interaction model, user design and development approaches, fusion of uncertain multi-modal information in real-time, etc. Based on our previous work in cultural and creative industries and natural user interface technologies, such as pen, touch, vision, gesture and multi-modal interaction, an interactive VR environment and several killer applications will be implemented,and the research results of this project will be verified through user studies. Furthermore, the research results will bring great impacts on the design and evaluation of new natural user interfaces. And as solid theories and techniques basis for the user interfaces of the next generation, these research results will inspire the future research and development of natural user interface and related new interaction styles.

本项目将分别从用户和系统的角度出发，研究自然人机交互的心理模型、运动模型、界面隐喻和范式、绩效模型等基础理论和模型；并基于此进行连续性、多维性、实时性和不确定性等自然人机交互基本特征的分析和描述；突破交互模型、界面设计和开发方法、非确定多通道实时融合等关键技术；更进一步,我们将利用现有的工作基础，融合笔/触控式交互、手势交互、多通道交互等主流自然人机交互方式，针对文化创意等领域开展虚拟展示交互平台、代表性应用系统的研究和设计，并通过平台和应用来评估和验证本项目的研究成果。本项目的研究工作将会对自然用户界面的设计和评估产生重要影响，促进自然人机交互及相关新兴交互技术的研究和发展，为探讨自然人机交互技术的深入研究与应用提供理论和技术准备。

本课题历时为2013年1月至2017年12月，围绕自然人机交互的人、机、环境相互作用和理解建模的核心科学问题开展研究。主要研究内容包括自然人机交互的基础理论；并基于此理论进行自然人机交互基本特征的分析和描述，突破各种通道交互关键技术和非确定多通道实时融合技术；集成相关成果，针对文化创意开展虚拟展示交互平台进行应用验证。.本课题取得了重要的研究成果。在自然人机交互的基础理论和模型层面，奠定了以基于认知的用户心理模型为基础，突破了自然人机交互连续运动模型的核心关键，形成了基于语义的自然人机交互模型和Bots交互的ASLI界面模型的交互框架体系，提出了绩效模型用以指导评估；初步建立完善了从认知心理出发到交互界面设计到自然用户界面评估的自然人机交互基础理论体系。在自然人机交互关键技术方面，重点突破了笔触控、视觉、生理计算、实物交互和非确定性多通道交互等关键技术；实现了从自然人机交互的各个单独交互通道到多通道融合交互关键技术的突破。在虚拟展示交互平台和示范应用方面，集成了研发建立了虚拟展示交互平台，并集中应用于文化创意领域，如虚拟考古体验、敦煌壁画数字化展示和复原，和可变性互动艺术的交互设计。丰富多彩的展现了历史文物的内涵底蕴和通过互动设计的方法丰富了体验者对传统文化的理解和感知。相关成果受邀参加国内外展览五次，获得较广泛的社会影响。.本课题在学术论文方面，共发表专著1部，论文总计104篇，包括SCI/EI论文 80篇。同时本课题重视科研成果的转化，共申请或授权国家专利33项，软件著作权13项。获得北京市科学技术奖一等奖1项。牵头制定国际标准1项，国家标准2项。课题注重人才培养工作，共培养博士12名，硕士44名。.本课题的研究成果将为下一代自然人机交互的发展和应用提供强有力的理论指导和技术准备，并起到很好的示范带头作用。