复杂背景条件下基于统计方法的机器人视觉目标抓取研究

This project is based on the application background of robot target grabbing under complex environment conditions and aims at solving the problems of low accuracy and weak robustness of visual target detection. The main research contents and research results are as follows:. 1) Research on robot grasp detection based on region constrained false matches elimination. To solve the problem of false point matching using local features, each matched key-point is mapped to its reference point. The expected region center can be derived by density estimation and the radius is determined according to dominant scale ratio. Matches corresponding to the mapped points out side of the region are considered invalid. .2) Non-rigid robot grasp detection based on local neighbor similarity constraint. Mapping vectors from local feature points of the same name to its neighboring features are constructed respectively in template and scene images. Then difference of mapping vectors' topological structure can be calculated. Clustering operation is carried out on the result of difference computation, and false matches are eliminated accordingly to improve the accuracy of non-rigid target detection..3) Research on data-driven model-free grasp detection. The RGB data, depth modal data and normal modal data are deeply fused together to achieve accurate feature expression. Additionally, Welsch function is also introduced to enhance robustness of the training process.

以复杂环境条件机器人目标抓取为背景，解决视觉目标检测准确率低、鲁棒性弱等问题。研究内容包括：1）研究基于区域约束局部特征误匹配剔除算法的抓取目标检测。针对局部不变特征初始匹配结果存在错误匹配的问题，采用匹配特征坐标映射及概率密度估计计算有效特征映射区域的中心及图像间显著尺度比，从而确定有效特征映射点分布区域，达到剔除错误匹配的目的，进而提高目标检测的准确率；2）基于局部特征邻域结构相似性约束误匹配剔除的非刚性抓取目标检测。在模板图像和场景图像中分别构建同名局部特征点到近邻特征的映射向量，计算映射向量拓扑结构的差异度，对相似度计算结果进行聚类操作，剔除错误匹配，提高非刚性目标检测的准确率；3）研究基于数据驱动的无模型抓取目标检测。针对非同源数据融合问题，采用RGB数据、深度数据、法向量数据深度融合方法。为解决训练过程过早收敛的问题，将Welsch函数引入到损失函数设计中，抑制过大误差影响。

在机器人研究中，视觉目标抓取是一个重要的研究方向。然而环境因素的改变会影响图像特征表达的鲁棒性，降低机器人视觉目标抓取的可靠性。本项目针对复杂背景条件下机器人视觉目标抓取问题展开如下研究：.1.针对人工设计特征之间的空间关联度弱无法表征待抓取目标空间变化，且前背景特征区分度低从而导致误匹配的问题，提出了一种基于自适应点集的目标抓取及优化调整算法。该算法得到的抓取框在抓取位置和抓取角度上均具有较高的精度，为抓取框的表征提供了一种新的解决方案。.2.针对视觉目标抓取检测中标签标注稀疏以及卷积神经网络存在只关注特征局部空间信息从而影响抓取检测准确率的问题，提出了一种用于机器人抓取检测的新型分层Transformer-CNN架构，以融合局部和全局特征，提高特征表达的鲁棒性。在公共数据集及机器人抓取任务中开展的测试实验表明，本算法有效提高了抓取检测的精度。.3.针对多传感器异源数据融合问题，提出基于双边交互跨模态融合神经网络的抓取目标检测算法，设计了特征的模态交互算法以自适应地捕捉跨模态的特征信息，并引入了通道交互模块以提高不同模态特征聚合的鲁棒性。本算法在Cornell和Jacquard数据集上表现出最先进的抓取检测精度，在Cornell和Jacquard上，已知抓取目标的检测精度分别达到99.4%和96.7%，未知抓取目标检测精度分别达到97.8%和 94.6%。本算法在机器人抓取任务中取得94.5%的成功率。.4.针对动态视觉目标抓取问题，提出了基于时空正则化及上下文感知的相关滤波视觉目标跟踪算法。本算法相较于现有算法具有更好的动态目标跟踪性能。.5.针对实际工业现场环境晶圆误放置问题，提出了基于卷积神经网络的晶圆状态检测算法，有效指导机器人对误放置的晶圆进行重放置。.本项目通过探索抓取目标特征表达、改进抓取目标多尺度特征融合方法、提出基于双边交互跨模态注意力机制的抓取目标多源数据融合模型及基于时空正则化及上下文感知的相关滤波动态跟踪模型，丰富了机器人视觉目标抓取检测理论，能够促进机器人抓取技术的广泛应用。