基于三维点云空间场信息的果园机器人主动视觉遮挡探测方法研究

For the orchard yield estimation robot based on machine vision, the occlusion from foliage and overlapped targets cause the most of the results error. And the occlusion problem is also the most difficult one for the vision based agricultural robotics research. Consequently, the active vision technology is presented in this research to reduce the occlusion from the source of image acquisition. We intend to do the study on the searching method for next optimal camera pose of the orchard robot’s active vision system to reduce occlusion, based on the visual technology and PSO stochastic optimization algorithm. The 3-D reconstruction model for the tree and the orchard space will be studied in order to build the 3-D occlusion map. Then, to search the next optimal camera pose, we will research on the relationship model between the camera pose, foliage occlusion and the visible fruit targets. The active vision system is designed and the PSO stochastic optimization algorithm will be studied to figure out the optimal camera parameters. Then the approximate result of this N-P-Hard problem could be gotten quickly and the searching time consuming of the next optimal camera pose could be reduced. Finally, we believe the research results could help reduce the occlusion influence, increase the outputs accuracy, and provide technical support for improving the fruit quality and orchard yield.

基于机器视觉的果园产量监测机器人研究中，枝叶遮挡、果实间成像重叠等会导致果实信息丢失、监测结果误差较大，也是困扰农业机器人视觉研究的瓶颈难题。本项目面向该遮挡问题，打破利用已采图像研究识别算法的常规思路，从采集图像的源头入手，将主动视觉技术引入农业机器人感知方法研究中。以视觉技术和PSO随机优化算法为技术手段，基于三维点云空间场信息，开展果园机器人主动视觉遮挡探测方法研究。提出构建果树三维点云模型和基于三维体素的果园空间场信息获取方法，创建果树点云空间遮挡地图，研究各取景方位、枝叶遮挡与果实目标可见度影响关系模型，为主动视觉“下一个最佳取景方位”提供决策依据；研究面向遮挡的主动视觉系统和相机参数的PSO随机优化算法，实现对该N-P-Hard问题无穷解空间内近似最优解的快速收敛，降低下一个最佳取景方位搜索耗时，以降低枝叶等遮挡影响，提高果园产量监测精度，为提高果品质量和产量保障提供技术支撑。

林果机器人作业中，需要对果实产量进行监控和预测，为生产措施和商务决策提供依据，其关键在于机器人感知的准确性。农业环境机器人目标感知研究中，枝叶遮挡、果实间成像重叠等导致目标信息丢失，是困扰农业机器人视觉研究的瓶颈难题。项目打破利用已采二维图像研究识别算法的常规思路，从采集图像的源头入手，将立体视觉和主动视觉技术引入农业机器人感知方法研究中。.课题组针对机器人作业目标识别分类和遮挡探测等难点问题，基于三维点云空间场信息开展农业机器人主动视觉系统设计、三维空间中机器人作业目标识别分类和遮挡探测方法研究，主要内容如下：.（1）研究了机器人在农业场景，特别是果园场景中的主动视觉系统设计方法，研制了基于空间机械臂的农业机器人主动视觉系统，为非结构自然环境下机器人目标感知和遮挡探测提供了试验条件和系统模型；.（2）研究了基于三维点云空间场信息的机器人作业目标信息获取方法，建立了果蔬枝、叶、果实等点云分割模型，探索了果蔬多目标识别方法，完成了目标三维空间位置和特征的探测方法研究，构建了不同三维型状体目标的特征模型，多目标提取准确率达87.74%；.（3）研究了三维点云空间作业目标遮挡地图构建方法，建立了取景方位、枝叶遮挡与目标可见度影响关系模型。基于Bundler和PMVS等方法果树三维密集点云，基于小孔成像模型对图像像素点反向投射建立果树点云空间遮挡地图，分析了不同取景方位上遮挡与可见增量目标间关系，为判断“下一个最佳取景方位”提供依据；.（4）研究了基于粒子群优化算法的主动视觉遮挡探测和下一个最佳取景方位搜索方法，在N-P-Hard问题无穷解空间内，研究采用相机参数搜索的PSO随机优化算法，实现对视觉取景方位的近似最优解快速收敛，预测了10组下一个最佳取景方位，实现了主动视觉取景方位最佳组合，为农业机器人应对目标遮挡问题提供了技术支撑。.项目研究了三维点云空间场信息的机器人主动视觉遮挡探测等技术，对提高农业机器人视觉可见能力具有指导意义。