智能汽车的视觉感知关键技术研究

Intelligent vehicle technology is one of the most popular research topics in information science. It has important scientific significance as well as industry and military value. Vision sensing is the foundation of intelligent vehicles. Related sensors include: monocular camera, binocular camera, all kinds of radar. This project will focus on the vision sensing based on binocular camera and LIDAR, mainly including: (1) 3D environmental sensing based on stereo vision; (2) vision sensing based on the fusion of stereo vision and LIDAR; (3) robust vision sensing techniques under bad weather conditions; (4) object detection techniques for real driving environments, including: road detection, curb detection, pedestrian detection, vehicle detection and traffic sign detection etc. The purpose of this project is to provide the accumulation of knowledge, practical methods and tools for the vision sensing problem of intelligent vehicle and provide solutions for the intelligent vehicle industry.

智能车技术是当前信息科学领域的热门研究方向，兼具重要的科学意义和工业及军事上的极大应用价值。视觉感知技术是智能车辆的基石，该技术使用的常见传感器包括：单目摄像头、双目摄像头、各种雷达等。其中双目摄像头和激光雷达是目前智能驾驶采用的主流传感器。本项目将针对双目摄像头和激光雷达的视觉感知问题展开研究，主要包括：(1) 基于立体视觉的三维环境感知；(2) 融合立体视觉与激光雷达的视觉感知；(3) 恶劣天气条件下的鲁棒视觉感知技术研究；(4) 实际行驶环境下的目标检测技术研究，包括：小物体检测、路面检测、路沿检测、车辆行人检测以及交通标志检测等。本项目旨在为智能车辆的环境感知问题提供知识积累、实用方法和工具，为智能车辆的产业化提供解决方案。

智能驾驶领域是当前信息科学技术研究热门方向，具有重要的科学意义和应用价值。基于智能驾驶的视觉感知技术，是智能驾驶感知的重要组成部分，也是一门涉及众多前沿领域的交叉学科。本项目基于双目立体视觉感知技术的研究，主要涉及以下五个方面：（1）立体视觉算法框架；（2）多传感器融合技术；（3）立体视觉成像系统；（4）基于立体视觉技术的环境感知方案；（5）基于立体视觉技术的低功耗应用平台。以上研究，涵盖了双目立体视觉传感器的设计制造、成像调校、立体视觉算法研究、环境感知方案开发、应用系统设计调校等多个方面的内容。本项目在以上研究中，取得了创新性突破。首先，提出了鲁棒性更强的融合光流和多路径Viterbi方案的立体匹配算法，并对算法进行深度优化，提出了多尺度快速立体匹配框架，并部署运行在GPU与FPGA计算单元中。其次，多传感器数据融合技术提高了环境感知的灵敏度。一方面，立体视觉与单眼视觉融合提供了更多的细节感知信息；另一方面，多传感器的数据融合进一步提高了融合数据的准确性和稳定性。同时，针对立体视觉成像系统做了深入研究，提出了自主知识产权的成像调校和标定系统，可以保证双目相机在复杂环境下保持较高成像质量。此外，基于双目立体视觉技术和深度学习图像处理技术，提出了智能驾驶的环境感知方案，涉及到可行驶区域检测、障碍物检测、障碍物识别等技术。最后，基于上述核心技术，搭建低功耗计算平台系统，该系统既可以满足智能车辆环境感知的相关需求，又符合国家法规对于相关车载设备的安全性能标准，因此可以支持自动驾驶和辅助驾驶领域的应用。