基于边缘点的折反射图像立体匹配与三维重建研究

本课题针对移动机器人障碍物探测与自主导航任务，以单摄像机全向立体视觉系统为研究平台，提出以折反射全向图像展开的透视与柱面投影图像中的特征点为基准点，以边缘点为匹配基元的立体匹配与三维重建方法。首先通过尺度不变特征变换（SIFT）与Canny边缘提取算法提取图像中的特征点与边缘，然后结合外极线约束进行SIFT特征点匹配并以完成匹配的特征点为基准点建立特征点约束，再结合边缘梯度、连续性、一致性等其他约束条件，对全部边缘点进行立体匹配,并通过三维计算生成稀疏的三维边缘点云，最后通过Voronoi图对点云进行建模生成成像物体三维模型。相比与区域匹配，特征点为引导、边缘点为匹配基元的分步立体匹配方法具有计算量小且对应点匹配准确的优点，而基于稀疏边缘点的三维建模方法将能在获取成像物体位置与尺寸信息的同时提高实时性。本课题的开展将为提高移动机器人自动避障与自主导航能力提供新的理论基础和技术方法。

本课题针对移动机器人障碍物探测与自主导航任务，以单摄像机全向立体视觉系统为研究平台，提出了以折反射全向图像展开的透视与柱面投影图像中的特征点为基准点，以边缘点为匹配基元的立体匹配与三维重建方法。设计了强噪声折反射原始图像的滤波和去噪算法，并针对双曲面反射镜折反射视觉系统开发了柱面和透视投影图像展开软件。改进了Canny边缘提取算子，设计了Harris角点和具有尺度不变性的SIFT特征点提取算法；设计了基于边缘方向图和边缘方向编码策略的直线特征提取算法，并通过边缘增长的方法实现了图像分割。针对立体匹配ZNCC相似度的不足，通过加窗设计了MZNCC相似度；定义了象素的纹理强度函数，并以此区分有纹理区域在动态规划时所占的权重；设计了首先通过尺度不变特征变换（SIFT）与Canny边缘提取算法提取图像中的特征点与边缘，然后结合外极线约束进行SIFT特征点匹配并以完成匹配的特征点为基准点建立特征点约束，再结合边缘梯度、连续性、一致性等其他约束条件，对全部边缘点进行立体匹配的分步匹配策略。对提取的SIFT特征点、Canny边缘点和Harris角点分别进行立体匹配和三维重建，生成了稀疏的三维点云，并对匹配的精度进行验证和对比。为获取成像物体精确的三维模型，Voronoi图和通过改进Canny边缘提取算法获取完整的边缘以及将匹配点扩展到特征点邻域三种方法被应用到立体匹配后的三维重建中。研究发现单摄像机全向立体视觉系统获取四周成像物体尺寸和位置的方法其计算结果的精度可以满足移动机器人障碍物识别和导航的任务要求，并且相比与传统的区域匹配，特征点为匹配基元的分步立体匹配方法具有计算量小且对应点匹配准确的优点，而基于稀疏边缘点的三维建模方法将能在获取成像物体位置与尺寸信息的同时提高实时性。进一步的研究显示，就成像物体三维模型的连续性而言，通过改进Canny边缘算子获取连续边缘的方法和Voronoi图的方法得到的三维重建结果虽然与直接立体匹配和三维重建相比有所改进，但鉴于计算量的增加，不适用于实时性要求较高的任务。本课题为移动机器人自动避障与自主导航能力提供了一个新的技术方法。.在基金资助下，共完成论文10篇，其中EI检索7 篇。将申请专利1项，专著1部。培养研究生5人。