基于多源信息融合的采摘机器人果实感知定位机制研究

Fruit harvesting with robots is the trend of agricultural mechanization and automation. How to locate and characterize the fruits on the tree is a key problem,it's a widely-used method to detect and locate fruits with machine vision. However, occlusion, variable illumination, diverse growth enviroment, variable appearance and texture make this task a complex challenge. This research focuses on detection and localization of the citrus fruits from the cluttering background. Because of the complexity and uncertainty of fruits detection, the image fusion method between depth map and color image was used, the range map which is acquired by a 3D camera based on TOF(Time of Flight) technology was used to make up these problems such as highlight, shadow, variable illumination, so as to detect the object region of fruits completely and accurately. The contour grouping method, it's intedgrated of Gestalt laws and prior knowledge of fruit shape, was used to recover the whole contour which was usually occluded by others. A new solution by image fusion method, 3D imaging technology and contour grouping algorithm was proposed to improve the robust and adaptive ability for detection and location of fruits within the tree.

机器人采摘是农业机械化和自动化的趋势，利用机器视觉进行检测定位是普遍采用的手段。由于水果的生长环境以及个体的形状和颜色不同,自然光照强度变化和阴影、遮挡等都会对图像处理和理解带来困难, 影响检测定位的准确率和采摘的成功率。基于树上水果检测定位时的复杂性，本研究以树上柑橘为研究对象，通过融合彩色图像和深度图像的方法，利用基于TOF技术的3D相机获取场景的深度图，通过深度信息来弥补传统的彩色图像检测目标时光照变化所带来的高光、阴影等一系列的问题，从而完整的分割出场景中的水果目标区域。并通过整合格式塔法则和水果形状先验知识的轮廓编组技术，完整的恢复出树上水果可能被遮挡的轮廓。通过基于TOF技术的3D成像技术和轮廓编组算法，增强对当前水果采摘机器人感知定位时所遇到的光照变化、阴影和遮挡等瓶颈问题的处理能力和适应能力，为提高采摘机器人感知定位的鲁棒性和自适应性提供新的解决方案。

树上水果的自动检测对于果园的自动化管理和农业信息化有着重要意义，基于机器视觉的树上水果检测是普遍采用的手段。由于水果的生长环境不同,个体的形状或颜色不同,自然光照强度变化和阴影、水果和树叶之间的相互遮挡等都会对图像获取和分析处理带来困难, 影响识别的正确率和采摘的成功率。本项目利用彩色摄像机和基于TOF技术的3D深度相机所获取的多模图像, 深入研究了果园场景中自然光照条件下检测树上水果常遇到的光照变化、阴影和遮挡等问题，探究了这些当前树上水果所遇瓶颈问题的特点、性质和规律，并针对性的提出了一系列解决这些瓶颈问题得新方法和新思路，以进一步提高在复杂的自然场景中应用机器视觉检测树上水果的系统的鲁棒性和自适应性。项目提出了基于光照模型和图像融合的树上水果可见表面检测算法，在光照变化和遮挡的情况下能够完整提取出树上柑橘水果目标可见表面； 研究了基于局部表面轮廓的树上柑橘目标检测和恢复方法，并推导出了遮挡柑橘目标间的偏序关系； 完成了基于局部可见表面光照分布的树上柑橘目标检测方法，并推导出了遮挡目标间的偏序关系； 探究了基于纹理和形状特征的树上绿色柑橘检测算法，实现了光照变化和遮挡鲁棒的大场景绿色柑橘目标检测。