复杂背景中行人目标的4D光场视觉感知机制与识别方法研究

In the field of machine vision and artificial intelligence, the recognition of pedestrians is a key and basic problem. However, the unstructured complex environment brings great difficulty to visual understanding. In order to satisfy friendliness, low cost and convenience, recognizing pedestrians effectively in a complex background based only a single sensor in a single exposure without additional active light source is quite important and difficult. To solve above problem, this project will carry out 4D light field visual perception mechanism and recognition method for pedestrians in complex background: establish dedicated pedestrian 4D light field data set and corresponding multi-feature model; study 4D light field ROI region sensing mechanism of pedestrian targets in unstructured environment using region proposal network, light field 2D global clear map and EPI polar information; illustrate the mathematical relationship among the light field multi-focus slice images; combining with the light field depth image information, establish a two-channel network model to recognize pedestrians in the unstructured environment based on microarray lens macro pixel fusion. This project can provide a solid foundation for future scientific research in the field of visual perception and technical application of the artificial intelligence.

在机器视觉和人工智能领域，对行人目标信息的获取理解和智能感知是其中的关键基础，但是现实中的非结构化复杂环境给视觉理解带来了很大困难。为同时满足友好性、低成本及便捷性，如何在仅有自然光线而无需额外主动光源的情况下，仅用单一传感器在一次曝光中对复杂背景中行人进行有效感知是非常重要的问题。针对该问题，本项目拟开展复杂背景中行人的4D光场视觉感知机制与识别方法研究：建立专用行人4D光场数据集与多特征模型；利用注意力驱动与光场2D全局清晰图、EPI极线联合筛选方法解决复杂环境中行人目标的4D光场ROI区域感知机制问题；阐明光场视觉中空间聚焦距离准连续的多聚焦切片图像之间的相互联系和数学关系，结合多聚焦图像和基于微阵列透镜宏像素融合的深度图像，建立双通道网络模型，对光场信息通道中的图像进行特征感知识别，实现复杂环境中4D光场行人感知识别，为视觉感知领域的科学研究和人工智能产业应用打下坚实基础。

本项目开展了复杂背景中行人目标的4D光场视觉感知机制与识别方法研究。建立专用的行人4D光场图像数据库与多特征模型；利用注意力驱动与光场2D全局清晰图、EPI极线信息的联合筛选的方法解决非结构化环境中行人目标的4D光场ROI区域感知机制问题；阐明光场视觉图像信息中空间聚焦距离准连续的多聚焦切片图像之间的相互联系和数学关系，并与基于微阵列透镜宏像素融合的深度图像信息结合，建立双通道网络模型对光场信息通道中的图像进行特征感知和识别。最终实现非结构化环境中4D光场行人图像的感知识别，揭示了其中的新规律、新特性、新方法，为未来视觉感知领域的科学研究和人工智能产业的技术应用提供新颖、可靠、有效的思路及技术。