基于混合双目视觉的移动机器人环境主动感知

Limited perception range, passive perception have become barriers of the mobile manipulator’s autonomous operation, and building unmanned factories as well. Thus the study of the active perception technology, which means the robot can adjust itself to get better observation, is the key point to enhance their autonomy and intelligence. On the basis of our research results on the perception and motion planning, we investigate the active perception of the mobile manipulator with hybrid binocular vision system in the indoor environment. The specific tasks are: propose a simultaneous hand-eye calibration method and error analysis with respect to hybrid vision system including fixed and mobile cameras to improve the efficiency and accuracy; establish a visual saliency model in frequency domain combining bottom-up and top-down mechanisms to realize rapid target detection under hybrid binocular system; develop an anti-viewpoint-changing feature matching algorithm in time and space domain for the binocular system to improve the efficiency and stability; propose a perception-oriented motion planning method for the mobile manipulator, of which the optimization objectives are the visual evaluation indexes and subject to the manipulability of the manipulator, to enhance the autonomous perception ability. Based on the above findings, a physical experimental platform is also designed finally.

感知范围有限、被动感知等等已成为移动机器人自主操作进而建设无人工厂的障碍。因此，研究机器人主动感知技术，使其能够主动调节自身状态以获取更佳的观测信息，对于发挥机器人的自主性与智能性具有十分重要的意义。在已有的感知及运动规划研究成果基础上，本项目对室内环境中基于混合双目视觉系统的移动机器人主动感知开展研究，主要包括：（1）提出一种针对固定与随动摄像机混合布局的同步手眼标定算法及误差分析方法，提高标定效率与精度；（2）在频域下建立由下至上与由上至下相结合的视觉注意模型，在混合双目系统中实现目标的快速检测；（3）提出抗视角变换的双目视觉特征匹配技术，通过时域与空域上的特征匹配，提高特征匹配效率与稳定性；（4）以机器人运动性能为约束，以视觉感知评价指标为优化目标，提出移动机器人面向感知的运动规划方法，提高机器人的自主感知能力。最后基于以上成果，设计完成一套实验平台。

感知范围有限、被动感知等等已成为移动机器人自主操作进而建设无人工厂的障碍。因此，研究机器人主动感知技术，使其能够主动调节自身状态以获取更佳的观测信息，对于发挥机器人的自主性与智能性具有十分重要的意义。在已有的感知及运动规划研究成果基础上，针对工业和服务场景中人机交互、目标识别、定位导航需求，完成了1）基于弱监督学习、全局过滤和局部匹配、孪生神经网络的机器人视觉感知目标检测及匹配算法；2）基于环境吸引域和动态神经网络的机器人抓取学习算法；3）受限资源约束条件下机器人系统控制方法。另外，也开展了机器人字符识别、流数据卷积神经网络等机器人模式识别方法研究。进一步，搭建了相关的软件及机器人平台，并进行了落地应用探索。.在本项目的支持下，在机器人视觉感知、运动规划、控制、抓取规划等方向累计发表SCI论文3篇（Q1论文1篇），中文核心论文1篇；EI会议论文3篇；申请发明专利7项，授权3项。