面向社会机器人的4D人机交互事件理解

This proposal will focus on the 4D Human-Robot Interaction (HRI) event representation, long-term event tracking, detection and learning for the HRI application of social robots. Traditional human action and activity recognition in real HRI scenarios face big challenges, such as different meanings of similar events at different times, the absence of explicit begin/end hints, the free motion and disappearance of the human body etc. These limitations degrade the performance of human action and activity recognition. To address these problems, this proposal mainly focuses on the following research issues: (1) 4D spatial-temporal time-varying feature representation and modeling for HRI events; (2) Robust computational model of long-term events; (3) Probabilistic template based tracking-detection-learning framework of HRI events; (4) Application and Demo social robot platform for the senior home assistance. This research will provide the solution for the challenging HRI event understanding for social robots in the real world. Moreover, we will make creative advancements on tracking-detection-learning framework for complex HRI events, 4D spatial-temporal event representation, modeling, and robust computational model of long-term events, which could benefit the research of cognitive mechanism for social robots.

本项目面向社会机器人的人机交互应用，重点开展4D人机交互事件表达、长序列交互事件跟踪、检测与学习等问题的研究。传统的人体活动和行为识别在真实人机交互场景中面临极大的挑战，如相似事件在不同时刻发生的意义迥异、自然人体活动无起止提示、人与机器人交互过程中的走动和消失等，导致存在的人体活动和行为理解方法在真实的社会机器人应用环境中受到极大的限制。本项目针对上述存在的问题，主要研究：（1）4D时-空人机交互事件的时变特征表达和建模；（2）长序列鲁棒人机交互事件计算模型；（3）基于概率模板的人机交互事件跟踪-检测-学习框架；（4）面向居家老人的社会机器人应用平台。本项目将突破社会机器人对真实场景人机交互事件理解的瓶颈，在复杂人机交互事件跟踪-检测-学习框架、4D时-空事件的表达与建模、鲁棒交互事件计算模型等方面取得创新性进展，对于社会机器人认知机制研究具有重要的理论意义和应用价值。

本项目围绕4D时-空人机交互事件的时变特征表达和建模；提出长序列鲁棒人机交互事件计算模型；提出基于概率模板的人机交互事件跟踪-检测-学习框架，并搭建面向居家老人的社会机器人应用平台。.依托本项目资助，研究团队成员在CVPR，ECCV，ACM MM及国际期刊IEEE Transact-ions，AAAI，PR，JVCI等期刊发表论文17篇，其中SCI论文12篇；举办2016中国模式识别大会1次；参加CVPR、ECCV、ACM等模式识别大会5次；在IEEE先进机器人和机电一体化大会（ICARM）、世界人工智能大会、IEEE多传感融合及智能系统大会（MFI）、中德人工智能研讨会、中国机器人学术年会、中国人工智能产业年会、全国医学人工智能大会等国际国内做大会报告7次；授权国家发明专利7项，申请国家发明专利5项；搭建人机交互实验平台一套。培养博士研究生5人，硕士研究生4人，青年骨干教师2人。.通过本项目研究，基于基础理论研究成果，搭建长序列人机交互系统，融合自然人机交互、体感运动捕捉、人脸识别、表情移植、增强现实等技术，用户可以通过多种智能终端与机器人进行交互。该系统原型可应用于人-机，人-机-人等多种交互形式，为用户提供基于虚拟机器人的自然人机交互；也可以对本地端用户的动作和表情进行捕捉，在远端以虚拟或实体机器人的方式呈现给远端用户，用于远程操控。