基于双目视觉的三维垄行结构识别与机器学习的全视觉导航方法研究

自然条件下田间光照变化、杂草、垄缺失、阴影等非结构化特性是影响农业机械视觉导航系统的鲁棒性、稳定性和适应性的主要因素，也是阻碍其进一步应用的重要原因。本研究将采用基于双目视觉的多垄线识别、三维多垄线结构信息融合和机器学习的方法克服农业机械自动导航系统中随机、不确定性因素的影响：1）分析非结构化光照变化对作物颜色影响的机理，研究垄行图像分割的有效方法；2）研究基于双目视觉的多垄行特征提取与匹配、多垄线信息融合获取完整垄线结构信息的方法；3）在导航参数坐标映射和误差校正的基础上，通过机器学习的方法将系统确定性因素与不确定性因素进行统一处理，以获得系统导航参数，并进一步融合农业机械平台的速度、加速度、转向信号对导航参量进行修正，建立基于DSP嵌入式技术实现方式的田间农业机械智能全视觉导航系统模型。

基于二维图像处理的田间机器人视觉信息，与GPS、电子罗盘等信息进行融合，在较理想的田间环境下，可实现自主导航。然而，田间作业环境下的光照、地形、温湿度等因素复杂多变,作业目标种类、形态各异,给基于二维图像处理的机器视觉系统的稳定性、适应性和鲁棒性带来了挑战。因此，基于三维立体视觉信息导航方面的研究工作获得愈来愈多重视。本项目首先，在摄像头标定方面，获得摄像头标定图像幅数与其测量误差的关系曲线，当图像幅数为30时，X和Y轴方向标定误差趋于稳定。其次，在图像平面误差分析方面，发现图像平面左、右，上、下及中区域误差拟合曲线为幂函数，误差减少分别为3.52%、3.38%、0.84%、-0.57%、1.89%。且进一步研究表明，不同的摄像头向下倾角、水平物距、焦距、基线长度情况下，图像平面的误差在X或Y方向上呈“V”型，误差减小可达85%。在特征选取及匹配方面，提出MI（Mask Image方法以改善田间作物图像特点数量及分布。同时，选取SURF和SIFT作为田间作物特征提取方法，并提出极线约束或全约束进行特征点匹配，正确率达95%。在垄线识别、导航参数提取及修正方面，提出基于Hough空间线型模板匹配和峰值加权的多垄线识别算法，以改善Hough空间垄线优化问题；提出基于垄行结构的智能多垄线识别算法，以提高田间条件下垄线识别的可靠性、鲁棒性和准确性。构建田间作物图像特征3D点云，提出田间机器人导航信息结构概念NIS，以探索田间机器人全视觉导航信息提取方法，以及提出基B样条的导航参数修正算法，为田间机器人路径规划中减小导航信息误差提供方法。在田间机器人转向方面，提出基于三轴加速度传感器的田间机器人旋转转向方法。切向法的转向角均值为0.95。，标准差为2.5。；径向法的均值为1.63。，标准差为1.2。。此外，提出基于无线传输的分形编码图像压缩方法及层次化IS-IS协议交互性测试模型，以改善田间机器人智能控制及各模块间图像传输、通信效率。提出空间公平性约束下停车换乘设施选址的双目标模型，为田间条件下自动机器人停靠最佳选址提供依据。在自然光照条件下，开展车辆距离检测、牌照识别等研究工作，为田间机器人视觉导航图像处理的优化提供思路和方法。距离检查误差为6cm，牌照字符平均识别率达90%。本项目所有研究成果，为进一步实现田间机器人全视觉导航奠定了基础，具有重要的理论和实际应用价值。