基于不同步多相机的多旋翼鲁棒三维视觉跟踪研究

Three-dimensional (3D) visual tracking of a multicopter (The camera is fixed while the multicopter is moving) means continuously recovering the six-degree-of-freedom pose of the multicopter relative to the camera. It can be used in many applications, such as the precision terminal guidance and indoor control algorithm validation for multicopters. For the 3D visual tracking of multicopters using multiple cameras, there are two main important problems: i) Wire communication and hardware-synchronized cameras are mostly adopted, which reduces the convenience and framerate of 3D visual tracking systems; ii) The force characteristics of multicopters (Multicopters are acted upon by a thrust force perpendicular to the propeller plane) are not considered, which reduces the accuracy and robustness of pose estimation. Therefore, this project systematically studies the problem of robust 3D visual tracking of multicopters using unsynchronized multiple cameras and designs methods for multi-camera placement optimization, calibration of unsynchronized multiple cameras, and robust pose estimation for multicopters. This project contains the following four parts: i) computing the optimal multi-camera placement parameters for multicopters with the degree of observability as optimization objectives; ii) calibrating the intrinsic and extrinsic parameters of unsynchronized multiple cameras using a one-dimensional calibration object under general motions; iii) estimating the pose of multicopters online based on the force characteristics of multicopters and the calibration result of unsynchronized multiple cameras; iv) establishing a 3D visual tracking system for multicopters and evaluating its performances.

多旋翼三维视觉跟踪(相机固定，多旋翼运动)是指对多旋翼相对于相机的六自由度位姿进行连续地恢复。它可以应用于多旋翼飞行末段精确引导、多旋翼室内控制算法验证等。目前基于多相机的多旋翼三维视觉跟踪研究存在两个重要问题：1）多采用有线传输和硬件方式同步多相机，降低了系统的便捷性和帧率；2）没有考虑多旋翼的受力特性(多旋翼所受的拉力垂直于各旋翼所在的平面)，降低了位姿估计的精度和鲁棒性。因此本项目将针对基于不同步多相机的多旋翼三维视觉跟踪问题进行系统的研究，给出多相机布局优化方法、不同步多相机标定方法以及多旋翼鲁棒位姿估计方法。本项目主要包括以下四个方面的工作：1）针对多旋翼飞行器，以可观度为优化目标求解多相机的最优布局参数；2）采用自由运动的一维标定物标定不同步多相机的内外参数；3）基于多旋翼的受力特性和不同步多相机的标定结果，在线估计多旋翼的位姿；4）搭建多旋翼三维视觉跟踪系统，并评估系统的性能

本项目针对基于不同步多相机的多旋翼三维视觉跟踪问题开展了研究工作。首先，提出了一种基于可观度的多相机布局优化方法，把多相机最优布局（位置和朝向）问题描述成一个非线性优化问题，即基于非线性系统可观度建立目标函数，基于相机视场范围和多旋翼空间运动范围建立约束函数，然后采用遗传算法解决上述非线性优化问题。其次，给出了基于自由运动一维标定物的不同步多相机标定方法，先是进行不同步双目相机标定，采用时间戳法对不同步双目相机的图像点数据进行对齐处理，然后按照同步双目相机标定方法进行内参数和外参数标定，两两标定完成后再进行不同步多相机的内参数和外参数标定。在此基础上，设计了多旋翼鲁棒位姿估计方法，以多旋翼过程模型（该模型描述了多旋翼独特的受力特性）为滤波系统方程，然后基于球面成像模型建立滤波观测方程，然后采用扩展卡尔曼滤波方法实时估计多旋翼的位置和姿态信息。此外，基于以上所提方法在室内搭建了一套多旋翼三维视觉跟踪系统，并完成了系统的性能评估。综上所述，项目组成员较好地完成了既定的研究任务。在本项目资助下，共计发表或在线发表SCI检索期刊论文7篇，EI检索期刊论文7篇，EI检索会议论文3篇，出版英文学术专著1部，申请并授权2项国家发明专利。本项目的研究成果为多旋翼三维视觉跟踪提供了必要的理论技术支持。