面向小目标探测与跟踪的多光参量分析与融合技术研究

Through the perception and analysis of multi-source information, e.g., spatial location, color, shape and texture, the image analysis capability can be as similar as to the human visual perception. Based on this the detection and tracking of the target can be realized, which is essential to security monitoring, automated production and tracking guidance. This project relies on the previously implemented prototype for snapshot spectrum and polarization light field Imager to explore the fusion of spectrum, polarization, light field and panchromatic image techniques for target detection and tracking. It tries to acquire the material from spectral data, the contour from polarization data and the depth map from the light field data. The main research objectives include: 1) depth estimation from light fields for MRF-based global optimization;2) relative radiometric calibration of 4D light field based on uniform surface light source;3) the multiple optical parametric fusion model with spectral and geometric characteristics kept;4) accurate detection and tracking method of dynamic small target based on multiple optical parametric fingerprint feature. By exploring the key technology, we can maintain the integrity of scene contour, keep the coherence of color structure and the smoothness of depth, and extract multiple optical parametric fingerprint features after the multi-source data fusion. Finally, we will implement a multiple optical parametric fusion prototype system for small target detection and tracking, and verify the effectiveness and practicality of the proposed methods and techniques.

通过感知与分析目标空间位置、颜色、形状和材质等多源信息，获得与人类视觉类似的图像分析能力，并在此基础上实现目标探测和跟踪，对安防监控、自动化生产和跟踪制导等领域具有重要的意义。本课题依托前期研制的快照式光谱和偏振光场成像仪原理样机，探索面向目标探测与跟踪的光谱、偏振、光场和全色图像融合技术，通过光谱数据感知目标材质，通过偏振数据获得目标轮廓，通过光场数据反映深度信息。其主要研究内容包括：1）基于MRF全局优化的光场深度提取技术；2）基于均匀面光源的四维光场相对辐射定标；3）面向光谱与几何特性保持的多光参量融合模型；4）基于多光参量指纹特征的动态小目标精确检测与跟踪方法。通过关键技术探索和创新，使多源数据融合后能保持场景轮廓完整性、色彩结构一致性和深度平滑度，并提取多光参量指纹特征。最后，实现一个面向小目标探测与跟踪的多光参量融合原型系统，验证上述方法和技术的有效性和实用性。

本项目本项目面向智慧城市，安防和智能交通以及军事等领域。通过感知与分析目标空间位置、颜色、形状和材质等多源信息，获得与人类视觉类似的图像分析能力，并在此基础上实现目标探测和跟踪，对安防监控、自动化生产和跟踪制导等领域具有重要的意义。本项目研究中基于课题组前期研制的快照式光谱和偏振光场成像仪原理样机等构成的环境，探索面向目标探测与跟踪的光谱、偏振、光场和全色图像融合技术，通过光谱数据感知目标材质，通过偏振数据获得目标轮廓，通过光场数据反映深度信息。主要研究内容和成果包括：1）提出了基于MRF 全局优化的光场深度提取算法和基于均匀面光源的四维光场相对辐射定标方法，设计了一个面向光谱与几何特性保持的多光参量融合模型；2）提出了基于多光参量指纹特征的动态小目标精确检测与跟踪方法；3)提出了一种基于背景先验知识的显著性目标检测算法；4）通过对上述关键技术探索和创新，使多源数据融合后能保持场景轮廓完整性、色彩结构一致性和深度平滑度，并提取多光参量指纹特征。实现了一个面向小目标探测与跟踪的多光参量融合原型系统，通过在Hawkeye-Lightfield-Multspectral Dataset等权威数据集实验验证了上述方法和技术的有效性和实用性。通过项目研究工作的开展在国内外会议和期刊发表或录用论文10篇，申请或授权专利10项，举办国际会议3次，在国际学术会议上进行报告7次，引入国外专家交流5次，建立智慧城市科研合作基地1个，并与博康、金溢等多家高新技术上市企业在安防和交通领域开展了产学研合作。