基于立体视觉深度学习的车辆前方可通行性分析研究

Vehicle's forward traversability analysis based on the onboard environment perception system is the key to achieve safety forewarning in urban or suburban environment. Most current methods just can distinguish obstacles from environment, which lack of deep understanding and can't adapt to new unknown environment automatically. Then, this project use the stereo vision sensors, and puts forward an off-line learning and on-line learning based traversability analysis method by simulating the eyes' perception process. Firstly, the targets of visual perception are confirmed based on the environment traversability classification. Secondly, the brain and visual cortex cells' perception process are simulated by establishing a Deep Belief Convolutional Nets (DBCN). The Net is fit for multidimensional images directly input and deep learning, also has the advantages of incorporate weights sharing. In the off-line learning part, semi-supervised learning method is proposed to describe the targents' basic feature and avoid large labeled samples. Each layer of DBCN are pre-trained independently and sequentially in unsupervised mode, and then all the parameters are fine-tuned in supervised mode. In the on-line learning part, based on the close view reconstruction and vehicle's current position's traversability analysis, we propose an environmental classification method which is self-supervised from the close to the distant, so that the vehicle can be familiar with the unknown environment gradually and realize safety forewarning. Finally, a generic solution framework with great commonality and expansibility for onboard environment perception can be proposed, which can promote the intelligent development of safe driving system.

在城、郊区道路环境中，基于车载环境感知系统分析车辆行驶方向上的可通行性，是实现安全预警的关键。现有的方法以障碍检测为主，缺乏对环境深入的理解，且难以自动适应新的环境。为此，本项目立足立体视觉传感器，从模拟双眼感知的角度提出离线学习和在线学习相结合的可通行性分析方法。首先，按可通行程度对环境分类，确立视觉理解的目标；然后，模拟大脑及视觉皮层细胞的认知过程，探索基于深信度卷积神经网络的认知结构，适合多维图像直接输入，具有权值共享、可深度学习等特点。在离线学习部分，研究无监督逐层训练和有监督微调相结合的半监督深度学习方法，获取接近目标本质的特征描述，并减少标记样本的数量；在线学习部分，基于近景重建和车辆当前位置可通行性分析，提出由近及远的自监督环境分类方法，使车辆能够自动"熟悉"未知环境，实现可靠的安全预警。最终，构建通用性强、可扩展的车载环境感知一般求解框架，推动安全辅助驾驶系统的智能化发展。

本项目立足立体视觉传感器，针对半结构化的城、郊区交通环境，分析影响车辆通行安全的主要环境因素，按可通行性等级将道路图像中需要识别的目标分为道路、边界和障碍三种类型，从模拟人类双眼感知的角度出发，提出一种基于深度学习理论进行车辆前方路况可通行性分析的方法。. 在图像预处理部分，首先提出一种改进的Gamma矫正算法进行光照补偿，提高视觉系统的工况适应能力，然后开发立体视觉标定和立体图像矫正算法，为立体匹配和三维重建奠定基础。. 在基于深度学习的可通行性分析部分，结合RBF神经网络和卷积神经网络各自的优点，建立了基于深信度卷积神经网络的视觉认知模型，该模型可以使二维图像直接作为输入，避免了传统算法中复杂的特征提取和数据重建过程。首先，建立了试验图像样本库，研究了样本自标记方法，为网络的离线训练和在线训练奠定基础；然后，提出了离线学习结合自监督在线学习的网络训练及优化方法，即将基于Levenberg-Marquardt数值优化算法的网络离线训练参数作为在线训练的初值，车辆在行驶过程中基于立体视觉重建结果获取可自标记的训练样本，对网络参数进行在线更新，实现由近及远的在线自监督环境分类，扩大视觉感知的范围，使可通行性分析算法能够适应未知环境的变化；最后，通过试验分析证明了所提出的基于RBF卷积神经网络的可通行性分析方法的有效性、强泛化能力和可扩展性。. 在前向安全预警系统开发与试验部分，首先通过车辆OBD端口获取车辆状态信息，结合立体视觉系统实现了车辆前向安全预警系统的开发；然后，针对不同道路工况，开展了道路实车实验，对可通行性分析方法在不同环境中的准确性进行了统计，验证了算法的有效性和环境适应能力。. 在本项目的支持下，已发表学术论文15篇，其中SCI检索8篇，EI检索8篇，另外录用待发2篇；已公开国家发明专利19项，其中已授权15项。