基于视觉注意力机制的机器人感兴趣目标跟踪

In contrast to the traditional object tracking methods which require programmers to fix certain features of targets, tracking objects of interest is a process for robots to autonomously select objects to be attended according to current task and environment. Meanwhile, dynamical changes during tracking leads to the online sequential update of knowledge about the targets and environment. Thus it is a promising and challenging issue to endow robots with the ability of autonomous mental development and thinking in order to achieve task-nonspecificity. This research project attempts to build a cognitive system of tracking objects of interest for robots based on visual attention mechanism and biologically-inspired machine learning theories. This project mainly includes data-driven detection of objects of interest, task-driven detection of object of interest, online feature selection and online sequential learning of target models. Finally this tracking system will be tested and evaluated on the real robotic platform. The research can be widely applied in various fields, e.g. detection and tracking of anomaly events and emergencies, robotic navigation, intelligent traffic, auxiliary medical, intelligent surveillance and so on.

与传统的目标跟踪方法需要程序员固化某些目标特征不同，感兴趣目标跟踪是机器人根据当前环境和任务在线自主选取值得注意的目标。同时，跟踪过程自身的动态性也导致在跟踪过程中需要不断的更新关于目标和环境的知识。因此，如何赋予机器人一定的思考能力和自主成长能力，实现具有任务非特异性的感兴趣目标跟踪是一项具有前瞻性的课题。本项目以视觉注意力机制以及源于神经生理学机制的学习理论为基础，研究数据驱动的感兴趣目标检测、任务驱动的感兴趣目标检测、特征在线选取与学习、目标模型在线串行学习等技术，从而构成具有认知能力的机器人感兴趣目标跟踪系统。最后，本系统将在实际机器人平台完成实验验证与性能评估。本项目的研究成果可以广泛应用于民用与国防领域，例如异常行为或突发事件的检测与跟踪、机器人导航、智能交通、辅助医疗、智能监控等。

本项目研究了感兴趣目标跟踪中的如下五项关键技术：（1）预注意力特征生成算法，实现机器人认知视觉跟踪系统中的预注意力特征提取过程；（2）针对图像和视频流的自底而上视觉注意力计算方法，用于检测显著或异常的感兴趣目标；（3）基于非线性重构的稀疏特征神经网络学习算法，用于训练多类目标表达模型和视觉场景识别；（4）自顶而下视觉注意力选择算法，用于任务相关感兴趣目标的检测与识别；（5）基于稀疏特征神经网络在线串行学习算法和特征选择算法，实现跟踪过程中的目标模型在线更新和特征选择。基于上述研究成果，机器人可以根据当前环境和任务在线自主选取值得注意的目标，可以在跟踪过程中不断更新关于目标和环境的知识表达，实现具有任务非特异性的感兴趣目标跟踪。与其他经典的目标跟踪算法相比，本项目的跟踪算法在如下难点中表现出了更好的跟踪性能：光照变化、尺度变化、遮挡、非刚体目标形变、运动模糊、快速移动、平面内旋转、平面外旋转、背景与目标相似、分辨率低等。此外，基于上述成果，实现车载交通标志检测与识别、基于视触数据的目标抓取、基于视觉的交通事故检测等任务。课题组按照研究计划，完成了本项目所列的所有研究内容。在本项目执行期间，课题组共发表SCI检索论文4篇，EI检索论文20篇，其中ESI高被引论文1篇，会议最佳论文奖1篇。受理发明专利1项。获得中国指挥与控制学会“CICC创新奖”二等奖1项。