三维场景中未知对象主动发现与选择性关注方法研究

A mobile robot will encounter a variety of unknown objects in real complex three-dimensional environment. Traditional target classification and recognition methods are difficult to solve this problem, thus the visual object recognition technology is undergoing a major paradigm shift. This project will study how to detect 3D visual saliency, and use saliency information to guide a intelligent robot to explore unknown objects in 3D scenes. Furthermore, by using RGB-D video sequences, we will simulate eye movement between multiple objects for a robot vision system based on exogenous orienting of visual attention orienting mechanism. Through the study, mobile robot can find unknown objects in 3D environment positively, and with the ability of one by one observation of all the objects, then a robot can gradually understanding of complex scenes. We reduce the amount of computation of the robot vision system for target recognition and scene understanding algorithms based on non uniform treatment of the data. The project will improve the environmental adaptability of a mobile robot.

移动机器人在真实的复杂三维环境中会遇到各种未知对象，传统的目标分类和识别方法难以解决此问题，基于视觉的对象识别技术正在经历重大的模式转变，本项目研究如何检测三维视觉显著性并利用视觉显著性信息引导机器人发现三维环境中的未知对象，在此基础上，面向RGB-D视频序列数据，基于外源定向的视觉注意定向机制模拟机器人视觉系统的关注点在动态场景中多个对象间的连续转移过程。通过该研究，使移动机器人能够主动发现三维环境中的未知对象，并且在面对多个对象时具备 “逐一观察”各个对象的能力，从而逐步的理解复杂场景，通过对数据进行非均匀处理以降低机器人视觉系统中目标识别和环境理解算法的计算量，提高移动机器人适应未知环境的能力。

针对移动机器人如何主动理解未知环境的问题，本项目研究了视觉显著性引导的环境理解方法，优先检测引起视觉注意的对象。本项目研究内容包括基础算法模型、数据集创建和应用研究三个方面。在基础算法模型方面，围绕三维场景中未知对象主动发现与选择性关注方法这一主题，提出了基于变尺度超体素的三维显著性区域分割方法、时域与频域相结合的RGB-D视觉显著性检测方法、基于频域先验与时空关联的视频显著性检测方法、基于深度线索的多目标显著性检测方法、多特征聚合的显著性检测方法、基于位置显著性损失度量的三维场景语义补全方法、基于任务的端到端注视点转移预测方法等算法模型。在数据集创建方面，设计了桌面型眼动数据采集系统，采集了10个被试人观看RGB-D数据时的眼动数据，并基于眼动数据创建了一个包含1000组RGB-D数据的三维显著性检测数据集。在应用研究方面，将视觉显著性分析方法应用于移动机器人室内地标检测，初步验证了视觉显著性检测在这两个应用中的作用。项目研究取得了预期的研究成果，有助于减小机器人视觉系统理解复杂环境的计算量，并提高其理解未知环境的能力。