基于多线索交互协同的视觉深度感知方法研究

Visual depth perception uses the visual cues to determine the range and hence the 3D structure of the objects and play a vital role in senior cognition and decision-making behaviors, which is a crucial scientific issue in biology vision as well as in computer vision..The project orients to the pressing need in computer vision and explores the multiple cognitive range cues modeling and interaction, which ultimately discusses the two key scientific questions: 1) how to build the depth-perception models with the reference of the theory of depth cue in cognitive science? 2) How to analogy the interaction schemes of dual-pathway theory in human visual cortex to enhance the depth perception?.Inspired by the theory of depth cue in the cognitive science, the project attempts to build four depth-perception models according to the four primarily depth cues and discuss their interaction via simulating human cognitive behaviors. Then the depth-perception models and their interactions are concretized to a novel heterogeneous neural network with reference of the evidences in brain science..The project attempts to establish a novel theory of depth perception via combining the advantages in both brain science and cognitive science, and hence implement the novel algorithms for depth perception based on the heterogeneous neural network. The project is pursuing a breakthrough of depth perception algorithms in accuracy, efficiency and robustness, which would further enhance the usage of depth perception in scene awareness, video surveillance, robot navigation, virtual reality and so on.

视觉深度感知利用视觉信息对感知对象的空间位置和三维结构进行估计，从而引导高级认知或决策行为，对生物视觉和计算机视觉研究都是至关重要的科学问题。本项目面向视觉研究对深度感知迫切需求，研究多线索交互协同的深度感知方法，主要探讨多种深度知觉线索的建模和计算问题，以及多层次深度线索的交互协同问题。本项目受认知科学对人类深度知觉的研究启发，重点研究人类四种主要深度线索的建模问题，并结合这四种深度线索的认知特点，研究其彼此之间的关联特性。本项目结合人脑视觉通路的神经生物学证据，构建模拟人脑的交互协同的神经网络模型，并以此来求解深度感知问题。本项目结合深度认知线索和视觉神经结构，建立多线索交互协同的深度感知的新理论和新方法。本项目力图在深度感知的精度、效率以及鲁棒性等方面获得突破，为促进视觉深度感知在场景感知、视频监控、机器人导航、三维数字虚拟现实等领域的应用，提供理论基础和解决方案。

本项目围绕视觉研究对环境三维感知迫切需求，研究多线索交互协同的深度感知方法及其在环境感知与理解中的应用。项目主要探讨多种深度知觉线索的建模和计算问题，以及多层次深度线索的交互协同问题，并将近年来新近出现的先进视觉深度传感器（包括激光雷达、深度相机等）进行整合，进一步研究以深度感知为基础的多源数据融合方法和环境感知方法。项目以生物启发为基本思路，剖析生物感知外部环境的神经环路、认知机制等，以此为启发提出了一系列复杂环境深度感知以及环境感知的新理论和新方法。.经过为期三年的研究，项目形成以学术论文、专利技术以及系统平台为代表的一系列研究成果。本项目在包括IEEE Transactions on Neural Networks & Learning Systems、Pattern Recognition在内的本领域权威期刊，以及包括NIPS、ICCV、ECCV、CVPR 在内的顶级学术会议上发表论文 17篇。申请发明专利4项。构建类脑视觉感知系统平台和多源感知自主机器人平台两个研究平台。项目团队研发的三维目标检测算法技术水平先进，在国际评测平台和国际竞赛中名列前牟。此外，本项目部分技术在视频监控、自动驾驶、服务机器人等领域落地应用，取得了良好的经济效益和社会影响。