基于图像光流的全天候机场防侵入关键技术研究

The airport invasion is a major security problem in the global civil aviation, which is also an important content of the safety work in the civil aviation. . The main research of this project lies in the key technologies of the all-weather airport anti-invasion based on optical flow of the multi-sensor images, which includes: research on the extrinsic calibration method of multi-sensors, settlement on the fast extrinsic calibration problem with the constraint equations which obtained by using the 3D cube to be the calibration target; Study on the image fusion of the visible image and the infrared image, using improved non-sampled Contourlet transformation to solve the the accurately multi-sensor image fusion problem; Research on the target detection and segmentation based on the fusion image optical flow, to get all the point cloud on the objection by designing the optical flow strategy, region analysis and boundary extraction method; Construct the multi-sensor visual system for the all-weather airport anti-invasion, and prensent a independent intellectual property right of the all-weather airport anti-invasion technology.. This project would be helpful to promote the development of the native anti- invasion technology and the intelligent management level of the airport, and reduce the economic losses caused by the airport invasion. Thus this project will play an important role on the development of scientific technology and social economy.

机场侵入是当前全球民航业亟须面对的重大安全问题，是民航安全工作的一项重要内容。. 本项目主要研究基于图像光流的全天候机场防侵入关键技术，包括：研究多传感器外部标定方法，使用三维立方体作标定靶，利用标定靶上点与直线的对应关系，建立约束方程，解决多传感器的快速外部标定问题；研究可见光图像和红外图像的融合算法，采用改进非采样Contourlet变换的图像融合方法，解决准确的多传感器图像融合问题；研究基于融合图像光流的目标检测和分割方法，通过设计光流算法、区域分析和提取边界得到目标物体上的点云，检测和分割出机场跑道上的运动目标物体；搭建全天候的机场防侵入多传感器视觉系统，给出一种具有自主知识产权的全天候机场防侵入解决方案。. 本项目的研究将推动我国机场防侵入技术的发展，提高机场管理的智能化水平，减少由机场侵入带来的经济损失，从而对科学技术发展和社会经济发展起到推动作用。

本项目主要研究基于多传感器图像光流的全天候机场防侵入关键技术，主要包括：多传感器的外部标定方法、可见光和红外图像的配准与融合理论与算法以及基于图像光流的目标检测与分割方法等研究内容。. 1、提出一种基于直线检测的激光与可见光传感器外部标定方法。首先设计具有四个可见面与五条棱的特定标定靶。然后通过Hough变换检测出标定靶可见面的五条特征直线棱，进而采用最小二乘法进行直线拟合自动确定五条特征直线的直线方程。在激光数据坐标系中，利用直线拟合获取标定靶中间三条棱上对应的激光数据，最后根据对应的直线点对求出可见光传感器与激光传感器坐标系转换旋转矩阵R和平移矩阵T。. 2、提出一种基于R-MI-Rényi测度的由粗到精图像配准方法。首先确定红外与可见光传感器在相对位置固定时对不同场景拍摄时配准参数的变换情况。然后采用Hough变换检测模板图像中的直线特征，并利用图像中对应线段的长度和斜率确定粗配准参数。最后根据基于模板的粗配准结果确定搜索的对应区域及窗口大小，使用R-MI-Rényi测度在对应区域内寻找匹配点对，再采用RANSAC方法进行图像的精配准并求解参数矩阵。. 3、提出一种基于小波变换与PCNN补偿机制的NSCT域红外与可见光图像融合方法。首先将红外和可见光图像分别进行NSCT分解，得到低频分量和高频分量；然后对低频分量进行二维小波分解，得到一个低频子带和三个方向子带，对其低频子带采用局部能量加权的方法进行融合，其他三个子带采用绝对值取大的方法进行融合；NSCT分解的高频子带融合规则分为对最高层的融合和其他层的融合，最高层采用绝对值取大的方法进行融合，而其他层采用的是基于改进型的PCNN的方法进行融合；最后将得到的低频子带和高频子带进行NSCT重构获得融合图像。. 4、提出一种基于图像局部结构的区域匹配变分光流算法。光流估计能量泛函的数据项采用图像结构守恒与灰度守恒相结合，并引入规则化非平方惩罚函数，保证了光流估计的精度与鲁棒性；平滑项采用随图像局部结构自适应变化的扩散策略结合区域匹配约束函数能够有效地保护运动物体或场景的边缘轮廓信息；在光流计算过程中引入金字塔分层细化策略克服图像序列中大位移运动引起的像素点漂移现象，并采用数学方法证明光流估计模型的鲁棒性和收敛性。