服务机器人灵巧操作的多模态感知融合与人机交互

This project focuses on the dexterous manipulation of the service robot. We address such problems on the three levels, i.e., multi-modal perception measurements, cognitive fusion for dexterous manipulation and interactive manipulation. Concretely speaking, the research topics include: (1)The development of multi-modal array sensors and the robust multi-modal fusion for the heterogeneous information; (2)The learning theory of the active multi-modal perception and manipulation; (3)The experience learning from the interaction behavior. Furthermore, we will establish the theory framework of the service robot perception technology, and validate the key technology on the prototypes and experimental systems. The obtained results could support the development of intelligent service robot.

本项目针对复杂环境下服务机器人实现灵巧操作的典型需求，从机器人多模态感知测量、灵巧操作认知融合，以及机器人交互操作三个层面，展开系统深入的研究工作。重点研究：多模态阵列传感装置以及异构多模态信息的鲁棒融合理论与方法；多模态信息主动感知的学习理论与操作技术；基于端到端学习的机器人灵巧操作与交互操作，以及基于交互行为的机器人经验学习技术。在此基础上初步建立服务机器人感知共性技术的基础理论体系，并通过原型平台和典型应用环境实验系统，验证相关理论与技术的可行性与有效性，为服务机器人的发展提供重要的基础理论和关键技术支撑。

针对复杂环境下服务机器人灵巧操作的典型需求，研制了多模态柔性触觉传感器，实现了对接触压力、关节形变、温度及湿度等多参数的实时感知；研制了多模态感知灵巧手，实现了灵巧手的精细操作。利用结构化稀疏编码框架，提出了多模态信息联合表征方法，建立了弱配对跨模态感知模型;设计了一种动作生成策略，建立了从感知到控制的主动强化学习模型，实现了机器人主动视觉感知；通过充分挖掘视频和音频之间的内在联系，建立了基于声音引导的主动视觉目标检测模型；研究机器人在干扰下的自适应机制，提出了基于对抗性强化学习的鲁棒控制模型；提出了一种新型人机交互框架，建立了基于操作的知识问答模型；针对人机交互过程中的触觉情感理解问题，建立了基于触觉手势的情感识别模型；提出了面向交互环境的多智能体具身问答任务，实现了多智能体的交互感知；基于交互行为，利用模仿学习策略，建立了机器人技能学习框架，实现了操作技能的模拟，经验数据库的生成以及基于经验的动作生成。研制了具有抓取-吸取等多种操作能力一体化的多模态复合感知操作机械手，并开发了基于强化学习的感知与动作决策，实现了机器人了在复杂环境下主动探索与抓取。通过本项目的研究，我们系统地建立了多模态协同感知技术方法,并搭建了面向服务机器人灵巧操作的演示系统，对多模态信息感知、认知与人机交互学习关键技术进行了实验验证。这些工作为服务机器人的多模态感知、学习提供重要的基础理论和关键技术支撑，具有重要的理论意义和实用价值。.本项目申请发明专利15项，已授权13项。一共发表学术论文59篇，其中 SCI 期刊论文38篇，EI 检索论文14篇，会议论文14篇，中文核心期刊7篇；公开出版学术论著1部。获得2017年度IEEE ICARM国际会议最佳论文奖、2019年度IEEE ICIRA国际会议最佳机器人论文奖；获得2020年度中国指挥与控制学会CICC科学技术进步奖一等奖；研制的多模态主动感知操作机械手获得2018年度中国机器人及人工智能大赛一等奖。项目负责人获得了2020年国家杰出青年科学基金资助。