折反射单目测量中基于TAI模型的标定方法与标记点设计

Catadioptric omnidirectional vision provides 360-degree large field of view with a single camera and has the advantage of flexible installation, compact structure and low cost. This project is the study of key technology in position and pose measurement by the monocular catadioptric image system. The study includes: (1) Analyzing the projective geometry of catadioptric image point, a new theodolite angle imaging（TAI）model is established. Then，corresponding calibration methods are proposed.（2）In order to improve the calibration and measurement precision, artificial coded targets are designed and an algorithm is proposed to detect and recognize the coded targets for the catadioptric image. (3) On the basis of theodolite angle model, the influence of the location and quantity of the coded mark point on the measurement accuracy is evaluated, which provides theoretical guidance for the application of the coded mark points. This project innovatively convert the model of catadioptric imaging system to an equivalent theodolite angle model, it provide a new way to many application such as robot navigation and control, large-scale 3D reconstruction and autonomous landing of unmanned aerial vehicle.

折反射视觉可由单一摄像机获取360度的全向宽视场，具有安装灵活、结构紧凑、成本低等优势。本项目拟开展基于单个折反射成像系统的目标位姿测量关键技术研究。具体研究内容包括：（1）分析折反射成像点的投影几何，构建折反射成像系统的经纬仪角度成像（Theodolite Angle Imaging）模型，并提出对应的标定方法；（2）为了提高标定和测量精度，设计人工辅助编码标记点，提出适用于折反射图像的编码标记点定位和识别算法；（3）在折反射视觉的透视N点测量理论基础上，评估编码标记点位置分布和数量对测量精度的影响，为编码标记点的应用提供理论指导。本项目创新性地将单个折反射成像系统等效为与经纬仪类似的测角装置，为折反射视觉在机器人导航与控制、大范围3D场景重建、无人机自主着陆等应用研究开辟了新的思路。

本研究从折反射相机的成像模型入手，首先，利用传统的标定方法获取初始参数，建立折反射图像和无畸变图像之间的投影关系，在校正的无畸变图像中提取亚像素角点，并映射到折反射图像角点上，得到高精度折反射图像角点坐标，通过新的角点坐标重新计算标定参数。如此迭代，提高了角点的定位精度和相机标定的精度。与传统方法相比，标定重投影误差降低了39%。其次，利用反射镜面的旋转对称性，实现空间降维，提出了折反射相机的经纬仪模型。当已知相机镜面参数时，提出了单张图像标定折反射相机的算法，通过仿真和实验验证了该方法的正确性和有效性。实验表明，特征点的反投影误差在公开数据集中的反投影误差为0.27像素。然后，采用mask-R-CNN算法实现对折反射图像中编码标记点的识别和粗定位，根据曲线拟合实现标记点的亚像素定位。在训练过程中，通过构建折反射相机的仿真系统生成训练样本用于实验。仿真实验中编码点的识别率为100%，定位精度为0.2像素。再次，推导了折反射相机和普通透视相机的等价关系，得到了折反射相机的线性等价方程，提出了折反射相机的EPnP位姿测量算法。仿真实验中，旋转矩阵的法向量误差为1.5°，平移角度误差为0.015°，平移长度误差为4mm/1m。最后，结合误差传播理论推导了位姿测量误差模型。模型分析了主点误差、焦距误差、镜面参数误差、特征点分布和特征点个数对位姿估计精度的影响。理论和仿真实验结果表明内参数中镜面误差的影响最大。外部条件中，特征点分布影响最大，特征点分布越广，误差越小。项目从成像模型、合作特征点设计、特征点的识别与定位和位姿测量算法等方面构建了基于折反射摄像机的单目视觉测量系统。该研究可以广泛应用于机器人导航、智能辅助驾驶、视频监控、虚拟现实、三维重建等领域，具有广阔的研究价值和应用前景。