基于单目多平面镜反折射成像系统的面向自动装配中复杂工件位姿计算

How to quickly and robustly calculate the 3D position and orientation of the pre-assembled workpiece in boxes for picking up, is one of the most fundamental and classic problems in the field of industrial automation assembly, namely, the Bin-picking problem. With the development of machine vision technology, peoples are seeking efficient solutions for the problem. A so-called catadioptric imaging system with an industrial camera and multiple plane mirrors, is very attractive. This imaging system can capture multiple views simultaneously in a single image, i.e., capture both the real and virtual views of the workpiece. Compared to traditional multiple camera system, the catadioptric imaging system can greatly reduce costs, avoid multiple camera calibration and synchronization problems. This proposal intends to investigate the catadioptric imaging system deeply, including: essential imaging mechanism; camera calibration; using unique imaging constraints for object detection, identification, and accurate pose calculation. We aim at establishing a series of efficient algorithms for the catadioptric imaging system, attempt to solve the classic problem in current industrial automatic assembly system, and enrich the essential theories and algorithms in machine vision.

如何从工件箱中任意摆放的大量的不同种类工件里面，快速鲁棒地计算出待装配工件的三维空间位置和姿态，以利于机械手对其进行抓取，是工业自动装配领域亟待解决的一个最基本和最经典难题，即Bin-picking问题。随着机器视觉技术的发展，人们正朝着有效解决此难题的方向迈进。目前，由一台工业摄像机和多平面镜组成的反折射成像系统引起人们的关注。该系统可以在一帧图像中同时拍摄到工件的多个方位的像，既包括工件的实像也包括其多个镜中虚像。与传统的多摄像机系统相比，可以避免多摄像机标定难题以及同步问题，减少了系统成本。本课题将对反折射成像系统进行深入研究，包括：其内在成像机理；摄像机鲁棒标定；利用其特有的成像约束进行复杂物体检测、识别，以及精确的位姿计算等。通过以上内容的研究，建立一系列关于单目多平面镜反折射成像系统的有效算法，积极探索并试图解决目前工业自动装配领域中的经典难题，丰富机器视觉的基本理论和方法。

基于图像的三维重建技术是计算机视觉领域的研究难点和重点。为了克服三维重建中单摄像机、单视点的局限，人们通常采用多摄像机、多视点来处理问题。但是，在获取多视点图像时摄像机同步是一个难题。利用单摄像机同时获取不同视点图像来避免上述的同步难题。在平面镜成像系统中，使用单摄像机保证了只需求取一组摄像机内参数，同时镜面反射对摄像机外参数有约束，这减少了需要求取的摄像机外参数，使摄像机标定更简便精确。重点研究了平面镜成像系统的几何特性，利用这些特性对成像系统进行更加鲁棒的标定。同时对三平面镜成像系统进行了研究。与已有方法相比，主要贡献在以下几点：提出了一种基于投影轮廓的双平面镜成像系统摄像机标定算法，该算法利用投影轮廓外公切线估计灭点，利用极切线约束估计极点，并加入极点和灭点共线等约束进行优化，通过灭点和极点求解绝对二次曲线的像，有效求取摄像机内外参数。实验验证了本文所提算法。实现了基于投影轮廓的三平面镜成像系统三维重建算法，该算法首先利用基于投影轮廓的双平面镜成像系统摄像机标定算法得到初步结果，再通过镜面反射对称关系估计虚拟摄像机的投影矩阵，重建出优化后的三维模型。与基于投影轮廓的双面镜成像系统重建算法相比，该算法简单高效，重建模型细节更精确，重建效果更好。