基于体感的新型互动计算理论、方法与关键技术的研究与应用

Human computer interaction is heterogeneous,therefore a computer has to use a variety of methods to estimate a user's intention.In order to infer the user's intention,perform the task requested,and provide feedback,we need to solve the core problem:how to fuse the multi-mode signals the system captures.The project creates somebasic theories and approaches for personalized human-computer interactions including physiology,psychology,and motion etc,in a natural sensing interaction environment to estimate the user's state using multi-mode input.The project's work starts with signal perception and processing,rendering modes,and presentation mechanism.It uses knowledge in different areas such as optics,acoustics,and haptic,to acquire and analyze data of user behavior,such as expression,gesture,and posture.It research new motion sensing interaction technologies to support natural multi-user and multi-mode interaction in both virtual and actual environment.The new interaction theories and approaches support human-to-computer and human-to-human remote interaction,and will be applied to the design and implementation of the prototype systems of virtual learning,interactive entertainment,and digital home to advance the digital culture industry.

体感交互的输入是异质多源的，计算机需通过各类输入来理解用户的意图，其核心问题是如何整合系统捕捉到的身体信号，推断出用户的意图，执行用户的交互任务，并以恰当的方式反馈给用户。本项目在面向自然体感的交互环境中，建立融合行为感知、用户意图理解和多模态呈现等情境的人性化交互基础理论和方法，解决多源输入条件下用户状态的感知、用户交互意图的推断等难点问题。从信号的感知与处理、体感的呈现模式与机理入手，通过光学、声学和触觉等多种模态获取、分析和处理表情、手势以及姿态等多种用户行为，研究新型的体感互动技术来支持虚实场景中多用户多模态的自然交互。本项目的研究成果，可应用于虚拟教育、互动娱乐、数字家庭等领域中，以推动数字文化产业的发展。

体感交互的输入是异质多源的，计算机需通过各类输入来理解用户的意图，其核心问题是如何整合系统捕捉到的身体信号，推断出用户的意图，执行用户的交互任务，并以恰当的方式反馈给用户。.为实现既定的研究目标，开展了5个方向的研究工作：场景深度信息的获取方法、普适计算环境中的行为感知与交互、体感交互重要技术与方法、触觉交互与虚拟嗅觉、多通道信息深度融合及人机交互平台的搭建。通过研究，建立了体感交互环境下融合行为感知、用户意图理解和多模态呈现等情境的人性化交互基础理论和方法。共发表高水平SCI论文65 篇（最佳论文/优秀论文6篇），授权发明专利 21项、获得省级科技奖项4项。.在以上理论和方法成果的此基础上，搭建了新型体感交互平台，将进一步推动VR教育和数字家庭产业的发展。