基于视觉伺服的手术机器人柔性工具感知机理与设计方法研究

With the development of surgical robotics, the traditional rigid straight-bar surgical instruments gradually fail to satisfy the latest surgical requirements. Surgical instruments with flexible joints have the advantages of enlarged working space, improved operation flexibility, and safe, soft bio-machine interaction, thus possessing a favorable clinical application prospect. Since the flexible surgical instruments are super redundant structures with multiple DOFs, their motion control can be difficult and they may be easily influenced by the external load turbulence. Therefore, the accurate modeling and control of the flexible instruments have become hot research spots in surgical robotics. Taking the flexible minimally invasive instrument of surgical robot as the object of study and the robot vision and intelligent control method as the theoretical foundation, this project explores the shape perception mechanism of flexible redundant joints based on motion parallax. Based on this, by revealing the coupling mechanism between the flexible joint’s structural parameters and spatial scale, this project develops the surgical instrument creation method that satisfies shape perception, establishes the flexible instrument control model based on visual servo, and verifies validity of the proposed model and method by simulation and experiments. From the perspective of visual servo, the research of this project provides a set of systematic theoretical tools for the control and design of flexible instruments for surgical robot.

随着手术机器人技术的发展，传统刚性直杆手术器械逐渐无法满足最新的手术需求。使用柔性关节的手术器械能扩大操作空间、提高手术操作灵活性，且具有安全柔软的生-机交互作用，使其具有良好的临床应用前景。由于柔性手术器械为多自由度超冗余结构，存在运动控制困难、易受外部负载扰动影响的问题，如何对其进行精确建模和控制成为手术机器人领域研究的热点。本课题以手术机器人柔性微创器械为研究对象，以机器人视觉原理和智能控制方法为理论基础，探索基于运动视差的柔性冗余关节形状感知机理。在此基础之上，通过揭示柔性关节结构参数与空间尺度的耦合机制，形成满足形状感知的手术器械创成方法，建立基于视觉伺服的柔性器械控制模型，并利用仿真与实验手段验证建立模型与方法的有效性。本项目的研究从视觉伺服的角度出发，为手术机器人柔性器械控制与设计提供一套系统的理论工具。

柔性手术工具能扩大操作空间、提高手术操作灵活性，且在与人体组织接触时具有安全柔软的生-机交互特性，具有良好的临床应用前景。但实际操作过程中，由于柔性手术工具为多自由度超冗余结构，存在运动控制困难、易受外部负载扰动影响等问题，实现连续体机器人精确可靠的运动控制仍存在困难。内窥镜是手术成像设备的必要组件，不会干扰机器人运动，所以视觉伺服作为机器人闭环控制中最广泛的一种反馈技术，可提高连续体机器人操作的精准化、自动化和智能化程度，有效解决上述问题。.针对图像噪声环境下手术机器人器械建模，提出了一种基于立体视觉的连续体手术器械三维重构方法，通过简单的图像处理技术处理双目相机采集的附着在手术器械上的四个标记点图像信息，可重建连续体手术器械的形状模型。为解决图像噪声带来的算法稳定性差，鲁棒性低等影响，提出了一种基于监督学习算法的误差补偿方法，并在两自由度的连续体机器人驱动平台上进行了实验验证，结果证明重建精度提高了70%以上。设计了基于单目视觉的机器人末端形状检测算法，鲁棒性较高，处理帧率可达到40帧/秒。针对单目视觉收集的特征点深度信息未知问题，基于深度无关交互矩阵的框架下，设计了基于运动学的视觉伺服系统控制器，并基于Slotine-Li算法实现了未知参数的在线估计，以上算法可满足受限环境中的实际应用，在连续体机器人实现精确的特征提取与重建新方法方面具重要意义。.项目执行期间研制连续体机器人驱动平台一套，形成了一套视觉伺服柔性手术工具设计方法，包括基于立体视觉的连续体手术器械三维重构方法、一种基于监督学习算法的误差补偿方法、基于单目视觉的机器人末端形状检测算法以及基于运动学的视觉伺服系统控制器。项目核心技术相关成果获2020年国家技术发明二等奖。项目成员参与国际会议2次，在发表SCI论文4篇。.