密集光场相机阵列高分辨率成像与广域目标跟踪研究

High resolution imaging and wide-area target tracking is one of the key technology and challenge problem of UAV airborne photoelectric reconnaissance. This project starts from the innovation of imaging technology, which combines the powerful light field camera array with UAV airborne imaging. Through presenting novel technologies such as dense light field camera array building, high resolution light field imaging, wide-area target tracking, we extend the traditional single camera 2D airborne imaging into 3D light field high-resolution imaging, and provide strong technical support for UAV wide range of monitoring and accurate object tracking. The proposed project has important theoretical and practical value in target detection and environmental sensing, UAV wide-area intelligent visual surveillance and other fields.

高分辨率成像观测与广域目标自动跟踪是当前无人机机载光电侦察的核心难题之一。本项目从探测技术的革新入手，将光场相机阵列合成孔径成像这一强有力的新型视觉信息探测理论与无人机机载成像相结合，提出密集光场相机阵列构建，大场景远距离高分辨率成像，基于多维场景信息的广域目标检测与跟踪等新方法，充分发挥密集光场阵列所具有的宽视场、高分辨率、三维立体等成像特点，将传统的机载单摄像机二维平面成像扩展为密集光场相机阵列多维成像，从新的角度解决目前制约无人机广域侦察与监控的主要难点问题，为提高无人机系统大范围场景监控、准确态势感知与精确定位能力提供重要的技术支撑。本项目的研究在目标探测与环境感知、无人机广域智能视觉监控等领域据具有重要的理论和应用价值。

课题组在密集光场相机阵列高分辨率成像平台构建与复杂条件下的广域目标跟踪与运动估计展开针对性研究。构建了多套光场相机阵列与无人感知平台，实现了联合平台以及大尺度分布式孔径成像。提出了高分辨率二维与三维成像、复杂条件下的无人系统对地目标跟踪定位与运动估计等新方法，提升了现有无人机系统态势感知能力、对地目标精确探测能力。取得了如下主要创新性研究成果：.相机阵列高分辨率成像方面，完成了无人感知平台与相机阵列构建，实现了联合平台与大尺度分布式孔径成像实验验证，为开展合成孔径高分辨率成像研究奠定了坚实基础。提出了纯视觉实时图像拼接方法，能够实现长距离快速高分辨率成像。设计研发了基于层次聚类对齐框架的三维重建方法，能够在大规模数据集上实现快速准确的三维重建。.复杂条件下的广域目标跟踪方面，对于复杂场景下的目标检测与跟踪问题，针对不同场景提出了相应的解决方法。针对低帧率场景，提出了基于稠密光流轨迹投票算法的多目标跟踪方法。对于小目标、遮挡、粘连情况，提出了多种解决方案，包括动态稀疏投影技术、视觉细节增强映射以及数据关联与外观模型优化等方法。此外，设计构建了机载与地基相机阵列，扩大了监控视野和范围，大幅提升现有无人机系统对地目标精确探测与导航定位精度，实现了无人机对地车辆的自主精确着陆。.在自然基金的支持下，研究人员在包括IEEE TMM，Pattern Recognition， Remote Sensing等权威期刊上共发表论文21篇，已收录SCI16篇，EI4篇，中科院JCR1区/2区论文12篇。申请发明专利8项，已授权2项。培养毕业博士3人，毕业硕士12人，在读博士4人，在读硕士7人。获得全国大学生物联网设计竞赛全国一等奖，西北赛区特等奖各一项。