基于骨骼肌肉模型和概念学习的类人机械臂平台研究

The project focuses on the structure design and kinetic characteristics analysis, human arm behavior recognition and understanding of the humanoid robotic arm interaction system, and the control method for the proposed humanoid robotic arm based on musculoskeletal model. Referring to the anatomical structures of human arm, we propose to use whole-dimension human arm skeleton as the holding structure, and thin McKibben multifilament muscle to simulate human muscle, then construct the humanoid robotic arm interaction system and analysis its static and dynamic characteristics. For sensing the multimode environment and understanding the human intention, we propose to use the concept learning to implement 3D behavior track recognition and semantic understanding. We propose the concept based independent deduction and behavior plan mechanism for the robotic arm to manipulate accident and plan specific movement. We propose to study the spiking neuron to coordinately control the robotic arm movement by applying the brain-inspired motion control mechanism.

本项目针对类人机械臂交互系统的构型设计及力学行为解析、人类手臂动作的识别与理解以及针对所搭建的基于多肌丝气动肌肉及骨骼模型的类人机械臂的控制方法这三个问题开展研究。在类人交互机械臂平台的设计方面，本项目提出采用全尺寸人类手臂骨骼仿生模型作为类人交互机械臂的本体，采用极细McKibben肌肉模拟人类肌肉的多肌丝结构，仿照人体手臂的骨骼-肌肉解剖学结构，搭建类人的交互机械臂平台，并对该模型的静力学/动力学特性进行分析。在多模态环境感知与人体行为意图理解方面，提出了基于概念学习框架的3D动作轨迹识别和动作语义理解，使得机械臂平台具备少样本学习和快速学习的能力；提出基于概念的自主决策推理和动作规划机制，使得机械臂平台可以合理处理意外情况和规划具有特定形状信息的动作轨迹。研究基于多脑区协同的运动规划与控制机制，模拟人脑的运动中枢对于手臂运动的管理机制，实现机械臂平台的类人控制。

针对“基于骨骼肌肉模型和概念学习的类人机械臂平台研究”，项目紧密围绕所提出的三个主要研究要点开展研究，即针对类人机械臂交互系统的构型设计及力学行为解析、人类动作的识别与理解以及针对所搭建的基于多肌丝气动肌肉及骨骼模型的类人机械臂的控制方法。并尝试探索骨骼肌肉模型类人机械臂在医疗辅助康复及手语交互等方面的应用。. 在类人交互机械臂平台的设计方面，研究了McKibben多丝肌肉束并建立了其动力学模型；搭建了基于骨骼肌肉模型的类人机械臂及其控制系统，包括多种肌肉束配置的类人机械臂仿真模型和实物模型，以及相应的气动、电控、交互系统等；设计实现了一款气动柔性仿生手及相应的手语交互系统。. 在多模态环境感知与人体动作行为的识别与理解方面，研究了运动动作识别及人类手语识别与理解算法；实现了基于概念学习的总体框架，采用运动轨迹特征、人体骨骼特征、基于图像的动作信息、时间空间融合特征，并结合经典的隐马模型、支持向量机模型以及最新的多种深度神经网络模型探索了人体动作识别与理解方法，而且构建了手语动作数据集及太极拳动作数据集。. 在骨骼肌肉模型类人机械臂的动作规划及控制方面，研究了基于强化学习的机械臂控制机制；设计了多种肌肉束配置方案的控制器，分析机械臂的运动范围；实现了以深度强化学习为基础的骨骼肌肉模型机械臂的控制方法，并实现以手语动作及太极拳动作为代表的典型运动，此外还探索了应用表面肌电信号增强类人机械臂的控制性能。. 本研究针对所提出的两个关键科学问题，即物质层面类人与想法层面类人，均进行了探索。在“结构功能类人”方面研究了具有类人身体结构的多丝肌肉-骨骼模型的类人机械臂本体，在“思维行动类人”方面研究了基于概念学习的识别、理解、决策与控制方法。并对所提出的模型、方法，通过所搭建的仿真环境及实物演示系统进行了功能验证。