融合全景与深度信息的机器人室内复杂环境目标搜索与观测规划方法研究

With the wide application of visual sensors, robots have been developed with a lot of intelligent functions. Visual target search is becoming more and more important for robots in the real-world domestic scenes in recent years, and has a big impact on the expansion of the application area of robots. In previous literatures, many robots utilize classic vision sensors to perceive the environment. However, these sensors with the limited field of view require extensive image processing, thus increase the operation cost and reduce the efficiency of information acquisition. To overcome this disadvantage, a novel hybrid vision system consisting of an omnidirectional camera and an RGB-D system is proposed and implemented on a mobile robot. The corresponding technologies, which include the object detection and search path planning, are studied. In this proposal, the perception cability of the robot will be enhanced by fusing the omnidirectional visual and depth information, and the efficiency of target detection will be improved by fusing the depth information model and visual attention mechanism to detect significant area and targets. An online multi-frame data fusion algorithm based on the hybrid vision system will greatly enhance the efficiency of data fusion and surface data accuracy. This research will enhance the ability of robot on automatic target search in complex scenes and improve its adaptability in different environments.

随着视觉技术在机器人领域的广泛应用，使机器人得以向智能化和复杂化方向更好的发展。机器人在室内复杂场景进行目标搜索的研究近年来已成为研究的热点和重点，此研究对于扩展机器人的应用范围有着重大意义。 针对以往研究中机器人配以普通视觉传感器进行目标搜索中的不足（如：视场范围有限，需多个视角获取场景图像,目标检测的效率低）。本项目拟提出将全向视觉与RGB-D系统搭建在同一台机器人上，成为机器人获取外界信息的主要来源。对室内复杂场景中目标检测、搜索路径规划等关键问题进行了研究，其中：通过融合全景与深度信息，提升机器人在复杂环境中的感知能力；将深度信息与视觉注意机制模型融合实现室内复杂场景显著区域与显著目标的检测,提高复杂场景目标检测效率；基于混合视觉系统的多帧数据在线融合算法，大大提升数据融合效率和表面数据精度。研究成果将提升机器人在复杂场景中自主搜寻、获取目标的能力，提高机器人环境适应性和智能水平。

视觉技术在机器人领域得到了广泛的应用，使机器人在自然场景中行为能力得以向智能化方向更好的发展。针对以往研究中机器人配以普通视觉传感器进行目标搜索中的不足（如：视场范围有限，需多个视角获取场景图像，目标检测的效率低）。本项目提出了将全景视觉与 RGB-D系统搭建在同一台机器人上，以此传感器组合作为机器人获取外界信息的主要来源。并对室内复杂场景中目标检测、搜索以及路径规划等关键问题进行了研究。.1）利用RGB-D摄像机和全景摄像机的各自优势搭建混合视觉系统，并标定混合视觉系统的内外参数，实现了系统中两个摄像机坐标系的统一。其次根据混合视觉系统两个摄像机的投影关系，提出了确定两个摄像机共同视场区域的方法。最后利用图像的深度信息，完成了共同视场区域内SURF(Speed Up Robust Features)特征匹配点的三维重建。.2）针对传统视觉注意机制在图像视觉显著物体检测中存在的运算复杂、检测精度低等缺点，提出了一种融合深度信息的图像视觉显著物体快速检测方法，确定了场景中显著物体的数目以及显著物体间的位置关系。.3）针对机器人初始定位误差和行走偏差，提出了一种基于运动变化的改进Mean-shift算法，实现了机器人行走过程中显著区域再定位，最终完成室内场景中显著区域的搜索。.4）此外，将美国Velodyne LiDAR VLS-64线激光与全景相机相配合，完成了新型传感器的标定与测试，并将其搭载在无人车上进行了相关室外实验，对上述室内处理算法进行了扩展，如移动目标的定位与跟踪，雾化环境的去雾处理算法。这些实验的拓展让研究的算法更具实用性和前瞻性。.目前共刊出期刊、会议论文13篇，即将见刊的期刊文章还有5篇，获得发明专利4件。