复杂场景中4D光场图像的类人视觉认知理论与方法

Compared with traditional images, light field images have some advantages in spatial structure perception and material recognition. It provides new ideas and challenges for the artificial intelligence system to obtain a full human-like visual perception ability. This project focuses on the scientific problems of human-like visual perception of 4D light field images in complex scenes, and studies light field image processing theories and methods for scene structure and material information. The research mainly includes: robust depth estimation beyond photo-consistency, material recognition based on multi-view reflectivity, confident super-resolution of light field images based on structural information, precise semantic segmentation based on multi-dimensional information fusion of light field and etc. Human-like visual perception prototype system will be built to verify the validity and practicability of the methods and techniques. .This study attempts to explore the mechanism that how light field images recognize scene structure and material information from a scientific perspective, which has important theoretical value. It is of great academic significance to excavate the potential of machine learning in deciphering deep semantic information in light field super-resolution, material perception and scene understanding. Additionally, there is a broad prospect of applications for developing human-like visual perception ability, such as spatial structure perception, material recognition, detailed information restoration and precise semantic segmentation, which can provide powerful technical support for new applications of light field images in artificial intelligence.

与传统图像相比，光场图像在空间结构感知、材质识别等方面的优势，为人工智能系统获得类人视觉的全面感知能力提供了新思路和新挑战。本项目主要围绕复杂场景中4D光场图像的类人视觉认知能力这一科学问题，研究面向场景信息的光场图像处理理论与方法，主要研究内容包括：面向成像一致性失效的鲁棒深度提取、基于多视角反射率的光场图像材质认知、基于结构信息的光场图像可信超分辨、基于光场多维信息融合的精确语义分割等，并建立4D光场图像的类人视觉认知原型系统，验证方法和技术的有效性和实用性。.本研究尝试从科学角度探索光场图像对场景结构和材质信息全面认知的机理，具有重要理论价值；挖掘机器学习在光场超分辨、材质感知和场景理解中发现深层语义信息的潜能，具有重大学术意义；实现空间结构感知、材质识别、细节信息还原及精确语义分割等类人视觉认知能力，为光场图像在人工智能领域的新应用提供强有力的技术支撑，具有广阔应用前景。

与传统图像相比，光场图像在空间结构感知、材质识别等方面的优势，为人工智能系统获得类人视觉的全面感知能力提供了新思路和新挑战。本项目主要围绕复杂场景中4D光场图像的类人视觉认知能力这一科学问题，研究面向场景信息的光场图像处理理论与方法，主要研究成果包括：提出了面向成像一致性失效的鲁棒深度提取方法，提升遮挡、噪声等困难场景下深度估计的准确性与鲁棒性；提出了基于多视角反射率的光场图像材质认知技术，实现对于物体材质的准确判断，尤其是严重影响深度估计等算法准确性的非朗伯材质；提出了基于结构信息的光场图像可信超分辨方法，实现高泛化性、低数据需求的高准确率、高可靠性光场图像超分辨；提出了基于光场多维信息融合的精确语义分割技术，突破深度传感器、单图像以及视频成像局限，实现语义类别准确、边缘划分清晰的精确语义分割。最终构建了一套面向光场图像语义分割、深度估计、超分辨等应用的大规模综合性公开数据集并建立面向光场图像的算法性能验证与评价系统，覆盖类人视觉认知全流程，验证方法和技术的有效性与实用性。本研究共发表学术论文35篇，其中，JCR一区和CCF列表论文27篇，2篇论文入选当年度ESI高被引论文；国际会议报告16人次；申请国家发明专利5项（已全部授权），专利转让产生经济效益2万元；登记软件著作权3项；相关成果获得2022年度高等学校科学研究优秀成果奖（科学技术）技术发明奖一等奖。培养了光场图像处理领域的高素质硕士研究生10名与博士研究生12名。其中，北京航空航天大学优秀毕业生获得者3人，北京航空航天大学优秀学术论文奖获得者1人。本研究尝试从科学角度探索光场图像对场景结构和材质信息全面认知的机理，具有重要理论价值；挖掘机器学习在基于光场图像的场景理解中发现深层语义信息的潜能，具有重大学术意义；实现空间结构感知、材质识别、细节信息还原及精确语义分割等类人视觉认知能力，为光场图像在人工智能领域的新应用提供强有力的技术支撑，具有广阔应用前景。