基于数据驱动适应学习的人-机-环境多模态感知与自然交互

Robots，when performing in the capsule, battlefield and other complex battlefield environments, often face complex and uncertain environment, the various operation tasks, and uncertain operation objects. The natural human-computer interaction is needed in plenty of actual applications. This project is based on our long-term research on robots and human-robot interaction of State Key Laboratory of Intelligent Control and Decision of Complex Systems in Beijing Institute of Technology and National Key Laboratory of Human Factors Engineering in Astronaut Center of China. Through visible light, infrared, force feedback, VR sensing equipment, semi-parametric models for large data will be established. Combination of data-driven semi-parametric adaptive learning theory with adaptive estimation, traditional machine learning, deep learning, ELM, and researches on human-machine-environment multi-modal perception and natural interaction from multi-aspect, achieves the perception of robots to human and environment in real time. Natural interaction makes robot understand human well. The adaptive control and the intelligent planning algorithm make human-robot cooperation efficient and robust to uncertainties. The key topics are listed as follows: data acquisition and signal processing with multi-source multi-modal sensors; intelligent and natural interactions based on gesture and body data; intelligent autonomous obstacle avoidance control based on RGB-D point cloud data; drag force teach control based on sequential data from force feedback; real-time data-driven adaptive learning with extreme learning machine.

机器人在太空舱、战场等复杂环境中执行任务时常面临环境的复杂性和不确定性、操作任务的多样性、操作对象的不确定性，大量实际需求呼唤人机自然交互。项目基于北京理工大学复杂系统智能控制与决策国家重点实验室和中国航天员科研训练中心人因工程国防科技重点实验室在机器人以及人机交互上长期的研究积累，通过可见光、红外、力反馈、VR设备等传感方式，建立大量数据的半参数模型，基于数据驱动的半参数适应学习理论，融合自适应估计、传统机器学习、深度学习、极限学习机，从多角度研究人-机-环境多模态感知与自然交互，实现机器人对环境和人的实时动态感知，通过自然交互使机器人理解人，基于自适应控制及智能规划实现人机互适应协作。研究包括：多源多模态传感器的数据采集及信号处理；基于手势、体态数据的智能自然人机交互；基于RGB-D点云数据的智能自主避障控制；基于力反馈序列数据的拖动示教协调控制；基于极限学习机的数据驱动实时适应学习。

为了能够实现机器人在太空舱、战场等复杂环境中执行任务时完成人机自然交互的任务，本项目从多角度研究人-机-环境多模态感知与自然交互，实现机器人对环境和人的实时动态感知，通过自然交互使机器人理解人，基于自适应控制及智能规划实现人机互适应协作。项目从以下五个方面进行研究（1）多源多模态传感器的数据采集及信号处理（2）基于手势、体态数据的智能自然人机交互（3）基于RGB-D点云数据的智能自主避障控制；（4）基于力反馈序列数据的拖动示教协调控制（5）基于极限学习机的数据驱动实时适应学习。 . 本项目的主要理论成就为: (1)利用极限学习机学习速度快，不易陷入局部极小值的优点研究了基于机器学习的数据驱动控制算法，并证明了该算法的稳定性。（2）基于极限学习机，设计了新型的 ELM-IN-ELM 的神经网络模型，全面超越了文献中已知的许多基于极限学习机的改进模型。（3）基于点云库 (PCL) 提出了一种在有噪声和测量误差的点云中提取目标的方法，结果表明，该方法能有效地降低噪声和测量误差的影响，获得表面光滑的目标物体。有助于为其他点云处理提供更准确的点云信息。在实际应用方面的成果为 : (1)利用手势、体态数据，设计了人与机械臂的智能交互学习系统，人能够通过自然的手势体态来控制机械臂。(2)本课题组自助研发了domotion系列通用开放多功能机械臂控制器，在该控制器中利用力反馈和零力控制实现了拖动示教，该控制器已经在多个企业得到成功应用。 . 本项目从环境感知、人机交互方面切入，结合人工智能算法，对适应学习进行研究使机器人具有协作的功能。这些成果在国防安全、智能驾驶、智能物流、智能制造、智能农业等方面都有潜在的应用。特别是在航天的在轨服务、空间探索、深空探测等领域具有广泛应用前景。