不确定环境下基于多源信息融合的机器人灵巧手稳定操作机制研究

Human hand skill transfer to robot system is an open problem failed to in-depth analysis in human-robot skill transfer theory. In order to study and analyze human hand motions that contain multimodal information, a generalized framework integrating multiple sensors is proposed and consists of modules of sensor integration, signal preprocessing, and correlation study of sensory information. Four types of sensors are integrated to simultaneously capture the finger angle trajectories, the hand contact forces, and the forearm electromyography (EMG) signals. Complex human hand motion can be divided into primitives manipulation and atomic finger primitives based on human hand manipulation strategy. Then we will construct a high-level, adaptive and modular library consisting of elementary hand gestures, manipulation force and related human environments. Gaussian mixture models will use the partial information to generate a normalized hand motion model, in which each finger model consists of multiple atomic primitives. Weighting and boosting algorithms will be used to select the optimal normalized finger gestures. A series of discrete gaits from a full-open hand to the corresponding normalized model will be given based on interpolation techniques. A closed loop control system is put forward based on finger trajectory and estimation information of force distribution. They are adjusted in real time according to disturbs and changes of environment. Desired joint/position trajectories will be provided for motion control module of a robot hand. Force closure criteria will be applied to each robot hand gait to ensure stable in-hand manipulation. Performance evaluation experiments validate and improve the models.The achievements have a broad application prospect, which can provide the basis theory and methods to human-robot skill transfer, and has great significance on how to improve dexterous robot hand technology.

人手技能转移到机器人系统是人机技巧转移研究中的一个需要深入剖析的难题。本项目为了采集人手操作的多模式的数据信息(轨迹、接触力和肌电信号)，提出一个集成四种传感器的多源信息的广义框架，包括传感器的集成、信号预处理和信号相关性分析等模块；基于人手操作策略的研究，将复杂的人手行为分解为有限的较小的操作基元和手指运动轨迹元，构建多层次、自适应及模块化的基于操作基元的数据库；利用高斯混合模型、加权和增强机制算法对人手操作技能进行有效建模，实现人手操作特征的有效提取和检索，将连续的人手复杂操作过程转换成由一系列离散状态组成的行为模型；基于所获得的手指轨迹和力分布估计的信息，构建闭环控制，多指机械手根据外界扰动和环境变化等反馈信息实时快速地调整手指运动轨迹及其力分布，并且确保操作的稳定性；将系统应用于实际，验证其有效性。研究成果为进一步研究人手技能转移提供理论基础和方法支持，推动机器人灵巧手技术的发展。

人手技能转移到机器人系统是人机技巧转移研究中的一个需要深入剖析的难题。针对不确定环境下机器人灵巧手操作系统，以灵巧手的稳定和高精度操作为目标，研究了基于视觉和表面肌电信号等多源信息融合的人手技能转到机器人灵巧手的方法、模型和算法。主要包括：①基于Kinect和多个外接相机的联合标定方法，提出了一套人手运动识别算法框架，解决了简单手内操作的识别问题，基于深度图像与彩色信息融合，构建了多模态手势识别系统，实现了复杂环境下静态和动态的手势识别。②基于人手抓取操作的实际情况，设计了三套有代表性的手势动作，建立了人手技能识别的手势数据库；提出了一种基于肌肉激活区域的表面肌电信号特征提取方法，构建了手部动作分类识别模型；建立基于基因表达式算法抓取力预测模型，实现了的抓取力准确预测。③基于多模态特征的抓取策略和旋转区域建议网络模型，实现了目标识别和姿态估计，提出了一种基于高斯过程分类的抓取规划方法，完成了对抓取稳定性高的点的选取；建立了基于神经网络抓取模式的规划训练模型，实现了灵巧手抓取模式的分类。④考虑到外部干扰、参数变化和随机噪声对灵巧手操作稳定性等不利影响，设计了一种鲁棒性良好的自调整模糊PID控制器，通过对灵巧手抓取的运动学和动力学分析，提出了多指灵巧手的自适应模糊滑模控制算法，使灵巧手具有稳定操作机制，实现灵巧手的平稳、高精度运行。.本项目提出了一套包括多模态融合的手势识别模型、激活肌肉区域实时可视化模型、基于多模态特征融合的操作物体姿态估计方法和自适应考虑外界扰动的灵巧手自适应模糊滑模控制算法，提高了手势识别率和多指灵巧手控制的稳定性。在国内外重要刊物和会议上发表论文60篇，其中SCI收录27篇，EI收录58篇。申请发明专利10项，授权发明专利6项，实用新型专利9项。培养硕士37名，博士3名。出版专著1部。.本项目研究成果深化对人手操作行为的认识和理解，将其操作技巧转移到多指机械手的控制中，完善多指灵巧机器手的智能控制方法可为进一步研究人手技能转移提供理论基础和方法支持，推动机器人灵巧手技术的发展。