移动相机虚拟阵列合成孔径成像与视频目标跟踪研究

High performance occluded object imaging and tracking in complex scene is one of the key problem of existing UAV aerial photoelectric reconnaissance.Starting from the innovation of imaging technology,this project for the first time fuses the powerful and novel camera array syntheture aperture imaging theory with UAV aerial video surveillance, and uses the single camera of UAV to simulate a virtual moving camera array with scalable apeture.Through presenting several novel methods, include the airborne optical virtual array building with scalable apeture, virtual acalibration and visibility analysis based moving camera synthetic aperture imging, and optical dynamic focus plane estimation and visual tracking,this work extends the traditional airborne two dimension planar imaging to a novel virtual optical array based three dimension imaging.Based on the unique characteristics of syntehtic aperture imaging,our work can acquire multilevel informaiton of observed target and scene,and provide essential technical support for high performance object detection and situational awareness.This project has important theoretical and application value in the fields of target detection and environmental perception, aerial video content analysis and intelligent video surveillance.

复杂场景与遮挡条件下的高性能透视成像探测与目标自动跟踪是当前无人机机载光电侦察的核心难题之一。本项目从探测技术的革新入手，首次将相机阵列合成孔径成像这一强有力的新型视觉信息探测理论与无人机机载成像相结合，用无人机平台上的单个光学传感器模拟一个孔径大小可变的虚拟移动相机阵列，提出可变孔径机载光学虚拟阵列构建,基于虚拟标定与可视度分析的移动阵列透视成像,移动阵列动态焦平面估计与目标跟踪等新方法，将传统的机载单摄像机二维平面成像扩展为移动虚拟光学阵列三维立体成像，对目标和环境进行多层次、立体化的透视成像探测，从新的角度解决目前制约无人机机载光电侦察与预警的主要难点问题，为实现高精度预警侦察、态势感知与精确定位提供重要的技术支撑。本项目的研究在目标探测与环境感知、航拍视频内容分析、智能视觉监控等领域据具有重要的理论和应用价值。

课题组在移动光学虚拟阵列合成孔径透视成像平台与方法、复杂条件下目标定位与跟踪展开针对性研究。构建完成了多套移动相机虚拟阵列成像实验平台，实现了不同尺度下阵列标定与成像实验验证； 提出了合成孔径透视成像、混合拼接、复杂条件下的目标检测跟踪等创新方法；并将研究的大场景高精度相机阵列位置姿态估计、基于红外相机阵列的远距离弱小目标成像与跟踪技术，成功应用于“无人机高精度光学测量跟踪与自主降落”。取得了如下主要创新性研究成果：.移动光学虚拟阵列合成孔径透视成像平台与成像方面: 完成了移动相机虚拟阵列成像实验平台构建, 实现了不同尺度下阵列标定与成像实验验证。为开展合成孔径成像的研究和实验验证奠定了坚实基础。研发了基于移动合成孔径的系统工具，包括可精确地估计出拍摄图片时刻移动设备位姿参数的位姿真值获取工具系统，可有效去除遮挡物的全聚焦合成孔径透视成像系统等。提出了大规模无序数据集的混合拼接方法。能够处理运动模糊和视角突变，自动从大规模无序航拍图像中发掘存在时空重复观测的感兴趣场景并生成全景图。.遮挡、变形等复杂条件下的目标定位与跟踪方面: 对于复杂场景下的目标检测与跟踪问题，针对不同场景提出了相应的解决方法。结合了多模型估计、优化分类、压缩感知以及图割等多种方法，来处理复杂场景下的航拍视频运动目标；针对地面目标，运用了动态稀疏投影方法；对与目标的遮挡和形变问题，提出了多种解决方案，包括基于光流分割的非刚体目标跟踪方法、基于多背景模型协同约束的目标检测方法及有效消除视差的基于能量优化的航拍视频运动目标检测算法。.在自然基金的支持下，研究人员在包括IEEE TCSVT，Image and Vision Computing，Remote Sensing，CVPR，ECCV等权威期刊会议上共发表论文33篇，其中SCI14篇，EI 19篇。授权发明专利9项，申请专利18项。培养毕业博士2人，硕士3人，在读博士3人，在读硕士8人。课题组成员参与CVPR,ECCV,ACM MM等国际会议，主要成员先后在美国特拉华大学，加拿大阿尔伯塔大学，比利时布鲁塞尔自由大学等开展访问研究。