面向智能机器人柔性装配系统自主控制的主动视觉感知技术研究

This project focuses on active visual perception technology in robotic autonomous assembly operations, to cope with the trends of unstructured assembly environments, frequent-changing assembly tasks and heavy complex assembly operations in current manufacturing revolution. It is aimed at enhancing the autonomy, intelligence and adaptability of robotic flexible assembly system..This project will investigate convolution neural network based of objects feature deep learning and CAD model feature based transfer training for active recognition of assembly objects in unstructured operation environments; will investigate improved ASFIT algorithm based feature points registration of virtual and real scene and Orthogonal iteration - Kalman filter based local feature normal direction detection for pose reconstruction of assembly object with complex shapes; will investigate “sequential action flow” based unified task modelling of visual perception and assembly operation and “multiple constraint model” based heterogeneous constraint parsing for tasks-information cooperation between active visual perception and autonomous assembly operations..The significance of this project includes: from the theoretical level, this project will contribute to robotic active visual perception theory in complex environment and enhance autonomous control level of industry robots; from application level, this project will promote the autonomous robotic flexible assembly technology toward development and provide technical reference for assembly automation in "smart factory" of Industry 4.0.

针对制造业变革中出现的装配环境非结构化、装配任务频繁变更、装配操作繁重复杂等趋势，本项目将研究定位在机器人自主装配操作的主动视觉感知技术，旨在通过相关研究进一步提高机器人柔性装配系统的智能性、自主性和适应性。.本项目提出研究基于卷积神经网络的目标特征深度学习方法和基于CAD模型特征的迁移训练方法，实现非结构化操作环境下装配目标的主动识别；研究基于改进ASIFT算法的虚实特征点匹配方法和基于正交迭代-卡尔曼滤波的局部特征法向找正方法，实现复杂外形装配目标的位姿重构；研究基于“时序动作流”的感知-操作统一任务建模方法和基于“多元约束模型”的异构约束解析方法，实现主动视觉感知和自主装配操作的任务-信息协同。.项目实施意义包括：从理论层面，将丰富复杂环境下机器人主动视觉感知理论，提升工业机器人的自主控制水平；从应用层面，将推动机器人自主柔性装配技术发展，为工业4.0智能工厂装配自动化提供技术参考。

本项目以机器人柔性装配自主控制为背景，针对装配环境非结构化、装配任务频繁变更、装配操作繁重复杂等趋势，提出采用基于CAD模型的主动视觉感知技术提升机器人非结构化生产环境的感知能力和生产变更过程的控制柔性。本项目提出采用虚拟样本深度学习技术实现机器人从样本训练到自主控制的全流程自动化。主要研究内容如下：.（1）基于虚拟视角图像CNN分类的视角估计方法。采用围绕着CAD工件的虚拟相机球坐标系视角节点，实现3D连续观测空间的离散化，并降维成2D的端到面的图像分类空间；采用基于CAD模型的虚拟相机多视角图像自动生成技术，解决了深度卷积神经网络的海量样本需求问题；采用基于CNN网络的多视角观测图像分类技术，实现机器人与目标工件之间的相对姿态估计。.（2）基于主动视角变换的精准位姿求解技术。采用虚拟相机球坐标系视角节点，多次观测矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳轮廓匹配视角的切换；采用最佳视角下的目标轮廓特征的对抗训练，实现目标位姿特征虚实匹配、位姿反求的精确计算；通过感知任务分解和时序动作流建模技术，实现目标区域检测、相对姿态估计、主动视角变换、精确位姿求解的自主控制。.（3）采用虚实迁移技术提升训练模型的鲁棒性。提出采用CAD样本和空背景图像对抗训练技术，实现了合成样本的像素级迁移；提出采用双卷积神经网络（CNN）参数共用技术，借助无监督跨域自适应训练方法实现样本训练迁移；提出了冷-热双阶段训练策略，提升注释稀缺性下的视点估计网络的深度转移学习稳健性和收敛性。.项目首次探索了基于深度学习技术的机器人操作视角估计和位姿重构技术。构建工件数据集1个，发表SCI论文4篇、EI论文7篇，申请专利1项，培养博士1名，硕士4名，基本完成了项目预期指标。.项目的实施从技术层面验证了任务书相关理论的可行性。相关成果将丰富复杂环境下机器人视觉感知理论，提升工业机器人的自主控制水平，将推动机器人自主柔性装配技术发展。