基于相机阵列合成孔径成像的视频目标跟踪研究

目标的有效分割与对应是当前视觉跟踪研究的核心难题之一。本项目从探测技术的革新入手，通过引入相机阵列合成孔径成像这种新的视觉信息获取技术，将传统单摄像机的二维平面成像扩展为相机阵列三维立体成像，重点研究无约束环境和严重遮挡条件下的目标清晰成像、准确分割与鲁棒跟踪问题。主要内容包括：(1) 基于几何光学理论，研究"聚焦"于空间中任意位置的自由焦平面成像方法；(2)在光照变化、背景杂乱、目标与背景色彩相似等无约束环境中，研究基于合成图像清晰度分布的目标分割方法；(3)将合成孔径的"透视成像"原理同目标分割相结合，研究严重遮挡条件下的最优焦平面估计与目标跟踪方法；(4)在相机阵列合成孔径成像实验平台上,对提出的方法进行验证和评估。本项目的研究在目标探测与环境感知、视频内容分析、智能视觉监控等领域具有重要的理论和应用价值。

本项目从探测技术的革新入手，引入相机阵列合成孔径成像这种新的视觉信息获取技术，将传统单摄像机的二维平面成像扩展为相机阵列三维立体成像，重点研究复杂环境和遮挡条件下的目标清晰成像、准确分割与鲁棒跟踪问题。主要工作、创新点与成果如下：. (1) 相机阵列合成孔径成像实验平台构建:设计构建了四种不同的相机阵列系统和测试数据库，包括在国际上首次构建的异构布局混合合成孔径成像系统、12路AXIS网络摄像机环形相机阵列系统、8路PointGrey主动合成孔径成像实验系统、以及移动光学虚拟阵列系统。在室内外不同条件下采集构建了相机阵列视频数据库，为开展合成孔径成像的研究和实验验证奠定了坚实基础。 . (2) 合成孔径聚焦与成像：针对严重遮挡条件下的高质量目标合成孔径透视成像问题，从合成孔径成像技术中的相机阵列标定、动态焦平面估计、遮挡消除与透视成像三方面逐步深入展开研究，提出了基于视差补偿和基于重建的相机阵列合成孔径成像算法、基于图像清晰度函数的最优聚焦深度估计算法、多层焦平面图像融合的相机阵列合成孔径成像方法、基于运动剪影的合成孔径成像算法、以及基于能量最小像素标记的遮挡消除与透视成像算法。采用Stanford，UCSD阵列数据库和自建数据库的实验结果表明，所提算法克服了经典合成孔径成像算法的固有缺陷，可有效消除动态和静态遮挡物对成像的影响，大幅度提高了透视图像清晰度。 . (3) 准确分割与遮挡跟踪：针对复杂背景中的目标分割与遮挡条件下的目标跟踪问题，在获取相机阵列不同深度的三维合成孔径成像集合的基础上，提出了基于合成图像清晰度分割的复杂背景目标分割算法、基于多摄像机剪影合成孔径成像的多目标定位算法、基于双相机阵列的合成孔径检测成像方法、基于子空间学习与粒子滤波的合成孔径跟踪算法、基于局部和全局约束优化的动态估计最优焦平面估计与跟踪方法，首次同时实现了拥挤与遮挡条件下的多人检测、定位与透视成像。. (4) 课题组在CVPR、ICCV，Pattern Recognition，电子学报，自动化学报等国内外重要刊物发上发表学术论文30篇，申请专利7 项,授权2项，培养毕业博士3人，硕士4人。申请人参与组织IScIDE,APSIPA,ACCV等国际会议，赴美参加CVPR2011交流论文，主要成员先后在美国伊利诺依大学，加拿大阿尔伯塔大学，英国伦敦大学访问研究。