散乱零件三维智能感知与自主操作的深度学习方法及关键技术

Picking of randomly placed parts requires robotics naturally interaction with operating environment, self-adapt to the dynamic environment and collaboration ability. However, the current technology is difficult to completion of picking with obtainment of information, intelligent sensing and effectively action at the same time. In order to deal with these challenges, this project uses the deep learning theory and approach to realize the 3D intelligent sensing and picking. The sub-pixel dense matching based on inverse image transformation and topology synthesis are proposed for obtaining the 3D point clouds of randomly placed parts. The expression of structure characteristic of point clouds with different units and depth is investigated. The multimodal and multitask learning model and algorithm are constructed in order to realize the intelligent perception of unstructured environment. We focus on the visual servo control related to dynamic performance, noise and model uncertainties for improving the operation precision and robust. The above theories and methods are applied to construct intelligent robot platform for picking of randomly placed parts in the unstructured environment. Expected results of this project will provide the basic theory and key technology in terms of perception and guide for the robots in the unstructured environment, and extend the content and scientific connotation of intelligent manufacturing equipment.

散乱零件的自主操作要求机器人能与作业环境自然交互、自主适应动态环境并协同作业，现有的机器人作业技术很难完成上述集信息获取、智能感知与自主执行为一体的散乱零件操作任务。针对上述难题，本项目研究基于深度学习的散乱零件三维智能感知与自主操作，提出基于图像逆变换的亚像素稠密匹配方法与匹配域信息不完整的拓扑综合，实现作业环境的三维信息获取与处理；研究作业环境数据结构性特征表达的粒度与深度，建立多模态、多任务深度学习的模型与算法，实现动态非结构作业环境零件的三维智能感知；聚焦探索散乱零件自主操作中视觉伺服的动态性能改善、噪声处理与模型不确定性问题，提高动态作业环境自主执行的精度与鲁棒性。应用上述理论和方法，构建机器人智能操作平台，开发面向散乱零件三维智能感知与自主操作的软件系统，项目的预期成果将为机器人的智能化提供基本原理与积累共性技术，并拓展制造装备智能化的内容与科学内涵。

随着工业自动化进程的推进，对传统产业进行智能化改造、升级是未来发展的趋势。机器人作为工业生产中的重要工具，赋予其强大的视觉感知能力是保证机器人在复杂的、非结构化的生产环境中顺利工作的重要条件。本项目针对机器人散乱抓取应用，围绕非结构环境下弱纹理工业零件的位姿估计展开研究，提出了基于灰度图和深度图的弱纹理工件位姿估计的深度学习方法，针对深度学习领域构建数据集代价大、耗时长的问题，提出了一种基于物理仿真的数据集快速构建方法。该方法通过导入工件的三维模型，并根据预先配置的参数可以快速生成大规模带有标注的数据集。同时在仿真时引入域随机化的策略，提升了基于仿真数据集训练的网络模型在真实数据集上的泛化性能。在实例分割预测得到每个工件的实例信息的基础上，提出一种两阶段的位姿估计方法。该方法采用“先粗后细”的位姿估计策略，初始位姿估计网络以深度图和灰度图作为输入，通过特征提取和特征融合预测得到工件的初始位姿；位姿迭代细化网络以模型点云和经过初始位姿变换后的场景点云作为输入，通过融合全局特征和局部特征预测残差位姿，综合残差位姿和初始位姿得到精度更高的工件位姿。实验表明，提出的位姿估计方法在仿真数据集上和散乱堆叠的真实数据集下都能有效地识别工件的位姿。应用上述理论和方法，构建机器人智能操作平台，开发面向散乱零件三维智能感知与自主操作的软件系统，项目的成果为机器人的智能化提供基本原理与积累共性技术，并拓展制造装备智能化的内容与科学内涵。