基于多光谱结构光立体视觉的大田棉花高精度定位与成熟度分级

Cotton-harvesting robot plays an important role in the intelligent robot farm machinery and equipment. Because of the complexity of the operating environment, the current robotvision system in recognize location and maturity judgement is less accurate, which has become an constraint for the development of smart cotton-picking technology. For the need of smart cotton-harvesting the ideas and methods for spatial orientation and maturity determination of cotton in fields will be explored. The main contents are as follows: (1) The multispectral reflectance characteristics of cotton canopy will be tested. According to the result, the structured light with specific frequency spectrum will be projected on the cotton fields and many significant measurement points have been produced, then the efficient camera calibration, image segmentation and binocular stereo vision methods will be researched for recovering three-dimensional information of cotton surface. (2) Laws of division and adhesions in cotton canopy image are analyzed. We will propose a strategy with the constraints underboth of the image and spatial characteristics of cotton. Then the characterization and classification model of cotton maturitywill be established on the base of the characteristics of surface area, volume and image contour, to judging the maturity of the cottonprecisely. This project may hopefully promotes the development of intelligent cotton-picking robot effectively. And it will have an important benchmarking and reference value to the research of other kinds of intelligence picking robot.

采棉机器人是智能农机装备的重要组成部分。由于作业环境的复杂性，当前的采棉机器人视觉系统对棉花的识别、定位和成熟度判定的精确度较低，成为制约智能采棉技术发展的重要因素。本课题面向智能采棉需求，探索大田环境中棉花的空间定位和成熟度判定问题的解决思路和方法。主要研究内容包括：（1）测试棉田冠层的多光谱反射特性，使用测定频段的结构光投射于棉田产生显著测量点，以此研究高效的相机标定、图像分割和双目立体视觉方法，恢复棉花表面的三维信息。（2）分析棉花冠层图像中粘连与分裂现象的发生规律，提出图像和空间特征双约束的处理策略；利用棉花的表面积和图像特征，建立描述棉花成熟度的特征描述和分级模型，以精确判定棉花的成熟等级。通过本课题的研究，以期推动智能采棉机器人的发展和应用，并对其他农业采收机器人的相关研究提供借鉴和参考。

面向采棉机器人视觉系统的功能需求，本项目依照课题申请书的技术路线进行了全面的研究。（1）测定和分析了棉田主要成分的多光谱反射率，在900nm~960nm波段（近红外波段），棉絮的反射率与其他成分的差异最大，该实验结果为棉花大田图像分割和多光谱立体视觉提供关键的波段信息。（2）设计和制作了大田信息采集智能机器人，为采棉机器人视觉系统的大田试验提供了硬件平台。（3）利用棉田成分的颜色差异并结合棉田地形结构特征，研究了一种基于水平样条的棉田图像分割方法，可以有效地排除障碍物的干扰，精确分割出垄沟，为棉田图像分割提供了一个很好的范例。（4）提出了一种基于ICP的点云配准新方法，大幅度提高了配准精度和速度，为多视角三维重建中的点云配准提供了新思路。（5）研究了一种扇环型分区域图像分割方法，用于精确分割厚壁、维管束等关键组织结构。该分区域图像分割方法对于棉田图像分割具有十分重要的参考意义。（6）研究了一种利用颜色和形状特征结合极限学习机的分级方法，并在油菜籽上进行了测试，取得了很好的分级效果。项目整体上完成了预期研究目标。本课题提出的点云配准方法，通用于多视角三维重建的点云配准环节中，是本课题的亮点工作。本课题的研究成果不仅可以推动采棉机器人视觉系统的进步，还可以推广应用到如作物三维表型等研究领域。