光照变化自然条件下服务机器人视觉SLAM鲁棒性研究

Service robot will play a very important role for social services, such as security monitoring, AGV, housekeeping attendance and disaster saving. Autonomous navigation is a core capability of service robot. In natural environment, illumination variety is a necessary challenge for long-term robot visual navigation, it is crucial to solve the problem of robustness of visual SLAM to illumination variation. The project will introduce deep learning theory into robot vision SLAM, firstly analysis the law and principle of object feature variety with illumination change, then learn invariant features in scene image by using convolution neural network. The project will focus on invariant representation of scene and online image match method with O(1) complexity to overcome the drawback of the lack of adaptability to the illumination change for the current visual SLAM. The research results will lay a solid theoretical foundation for the autonomous navigation of the service robot with high robustness.

服务机器人在安全巡检、物流搬运、医疗护理和救援救灾等社会领域具有广阔的应用前景，“自主导航”是服务机器人的核心能力之一。然而在自然环境中，光照条件的变化给机器人长时间的导航带来了不可避免的挑战，解决视觉SLAM对光照变化的鲁棒性问题是关键。本项目将深度学习理论引入机器人视觉SLAM，在揭示图像目标特征随光照变化规律及原理的基础上，基于卷积神经网络在场景图像中学习光照不变性特征，建立轻量式光照不变性场景表达模型和具有O(1)复杂度的在线图像匹配机制，克服当前视觉SLAM对光照变化适应能力不足的缺陷。研究成果将为服务机器人高鲁棒性的自主导航奠定坚实的理论基础。

视觉SLAM是移动机器人自主导航的核心技术，机器人在复杂自然环境中长时间大范围区域进行SLAM时，面临着因时移、季节和雨雾天气变化等因素引起的强烈光照变化的挑战，SLAM关键环节-视觉定位与回环检测过程会因强烈的光照变化造成场景感知混淆而导致环境地图构建失败。本课题致力于研究对光照变化具有较强鲁棒性的SLAM方法，研究内容可进一步细化为四个方面：（1）如何生成高质量的地图关键帧以提升SLAM对光照的抗干扰性？（2）如何进行高鲁棒性的视觉回环检测？（3）如何充分利用语义信息辅助视觉定位以提升SLAM的光照鲁棒性？（4）如何让机器人SLAM具有跨场景的类人连续学习能力从而使其具备更强的环境变化鲁棒性？. 围绕上述具体研究切入点，课题组先后提出并设计了一系列SLAM鲁棒性方法并取得了一定的创新性研究进展，具体包括：（1）提出基于增强地图关键帧的光照鲁棒性视觉地点识别方法。（2）提出具有光照不变性的回环检测方法。（3）提出高精度图像语义分割模型及其辅助回环检测方法。（4）提出具有跨场景连续学习能力的鲁棒性SLAM回环检测方法。. 课题组在多种公开的环境光照变化数据集上对提出的方法进行了实验验证，重要研究结论如下：（1）基于优化的生成式对抗网络增强后的关键帧能有效提升环境地图节点的质量，在此基础上进行视觉定位的鲁棒性得到较大提升。（2）基于环境不变性原始特征包构建的场景图像描述符在提升SLAM回环检测的光照鲁棒性方面取得良好效果。（3）提出的高精度语义分割网络模型MSCF，能够有效解决复杂环境下当前语义分割方法对物体边界划分模糊的不足，达到更加精准的语义分割效果，进而利用语义信息辅助视觉回环检测有助于提升SLAM对光照变化的鲁棒性。（4）提出的回环检测新方法首次克服了视觉SLAM学习型回环检测方法的灾难性遗忘问题，使其具有了跨场景的连续学习能力，SLAM视觉地点识别鲁棒性得到增强。. 综述所述，本项目研究取得的成果，对提升机器人视觉SLAM的光照变化鲁棒性具有积极意义，尤其视觉SLAM具备了跨场景的连续学习能力，为机器人视觉导航走向复杂环境下长时间大范围区域的实际应用奠定了一定的理论基础与应用依据。