基于注意-记忆-学习的动态非结构环境感知与机器人自主作业研究

The robot system with ability of perception of dynamic unstructured environment and autonomous operation, has great significance in national defense and national economy. To overcome the shortcoming in perception of dynamic unstructured environment and autonomous operation, this project introduces the mechanism of attention-memory-learning to solve this problem, and creates new theories and methods. The main tasks include four aspects: (1) the feature representation of unstructured environment and the extraction of salient region based on attention, (2) the memory model for the perception of dynamic unstructured environment and autonomous operation, (3) the perception of dynamic unstructured environment and target based on attention-memory-deep learning model, (4) the strategy and control method of autonomous operation based on deep reinforcement learning and memory model. Based on the above researches, the project will build the prototype system of the perception of dynamic unstructured environment and autonomous operation, and apply it to the autonomous robot system for application verification experiments.

具有动态非结构环境感知与自主作业能力的机器人系统,对国防安全和国民经济都有重要作用，也是目前国际科研和应用最为关注的领域之一。本项目针对机器人动态非结构感知和自主作业面临的瓶颈问题，通过交叉学科研究，将注意-记忆-学习及其融合模型引入到该问题中，提出新的理论和方法，开展：（1）基于注意机制的动态非结构环境特征表示与显著区域提取；（2）面向动态非结构环境感知与机器人自主作业的记忆模型；（3）基于注意-记忆-深度学习的动态非结构环境与目标感知方法；（4）基于记忆-深度强化学习的移动机器人自主作业研究。在方法研究的基础上，最终建立一个基于注意-记忆-学习融合模型的动态非结构环境感知与机器人自主作业原型系统，并进行实验验证，为我国机器人自主作业能力的提高以及未来新型机器人系统提供技术支撑。

项目针对动态非结构环境感知与机器人自主作业问题，将视觉注意、学习等机制引入非结构环境视觉感知中，提出基于显著值回归网络的显著物体检测模型；提出基于卷积神经网络和自适应多尺度样本生成的小目标检测方法、基于小样本实例分割与三维匹配的物体位姿估计方法；提出了基于两阶段深度学习的灵巧抓取方法等。发表国际期刊和会议论文9篇，申请发明专利10项（授权2项）；包括IEEE Transactions on Instrumentation and Measurement、Neurocomputing、Sensors、International Journal of Automation and Computing等。出站博士后1人、毕业博士生1人、毕业硕士生2人。.相关成果获得“军队科技进步二等奖”（大口径光学器件机器人柔性装配技术）、“中国自动化学会技术发明一等奖”（基于环境-信息融合的机器人高精度柔性作业关键技术及应用）、“第三届中国创新挑战赛（扬州）优胜奖”（视觉检测与机器人自主柔性作业技术）等。.研制了面向机器人非结构环境感知和灵巧操作的双臂机器人系统；研制了面向典型制造业作业环节的自主柔性作业机器人系统，并成功应用于实际生产环节中。