纳米尺度下的实时三维视觉信息反馈新方法及其关键理论研究

Real-time 3D visual information feedback at nanoscale is one of key technologies to realize automated nano-handling.SEM is the optimal tool to realize this goal. But real-time 2D information or low precision of 3D information can only be obtained under specific conditions through the existing researches, due to many fundamental problems on the efficiency of imaging and the algorithms of 3D reconstruction. Based on the image acquisition strategy which relies on the real-time visual tracking,this project is planned to reconstruct the operation tools and nanodevice real-time and continuously with exploratory use of SEM image sequences, and to study the key issues on visual tracking algorithm,imaging model,and system calibration method. This project is specified as: to propose a stable and real-time visual tracking method,and then to establish reasonable imaging strategies according to the tracking results to solve the trade-off between imaging velocity and quality; to establish a general imaging model and its corresponding calibration method for SEM helps to reveal the true imaging law of SEM;to establish a parameterized imaging modeling and its corresponding calibration method for SEM in order to scientifically express the imaging rule and simplify the calibration process.The successful implementation of this project will build a novel real-time 3D visual information feedback method based on SEM image sequences, and provide an effective technical means for improving the stability and efficiency of the nano-handling.

纳米尺度下的实时三维视觉信息反馈是实现纳米操作自动化和规模化所需的关键技术。SEM是实现此目标的最佳工具，但现有研究成果只能在特定条件下反馈实时的二维信息或低精度的三维信息，在SEM的成像速度和三维重建算法上还存在诸多基础问题。本项目拟在基于实时视觉跟踪的图像采集策略的基础上，探索性地使用SEM图像序列对操作工具和纳米器件进行实时连续的三维重建，并针对其中涉及的视觉跟踪算法、成像系统模型和参数标定算法等关键问题进行研究。具体包括：提出稳定实时的视觉跟踪方法，并根据其结果制定合理的成像策略，解决成像速度与图像质量之间的矛盾；构建SEM成像系统的通用数学模型和参数标定方法，揭示其真实成像规律。建立参数化的数学模型和标定方法，科学表达其成像规律并简化标定过程。本项目的成功实施将构建一套基于SEM图像序列的纳米尺度下的实时三维视觉信息反馈新方法，为提高纳米操作稳定性和效率提供一种有效的技术手段。

自动纳米操作是实现规模化纳米制造的关键，实时三维视觉信息反馈能够在操作过程中实时反馈操作装置和纳米器件的空间三维位姿（位置和姿态），为实现自动纳米操作提供重要的控制信息，因此已成为实现纳米操作自动化和规模化所需的关键技术。SEM 是实现此目标的最佳工具，但现有研究成果只能在特定条件下反馈实时的二维信息或低精度的三维信息，在SEM 的成像模型、图像特征提取和三维重建算法上存在诸多问题。本项目针对上述问题开展了系列研究，取得了一定的成果，具体情况归纳如下。.为了探索SEM系统成像规律并揭示其数学模型，本项目从电子像成像过程的本质出发，不依赖于任何假设条件，将SEM视为一个黑盒，构建其通用的成像系统数学模型，成功揭示了SEM成像系统的成像规律，证实了SEM在低倍高倍下的模型变换假说。在此基础上，借用了临近像素间的成像的连续性原则，研发了连续通用模型，使得标定过程由原来的线约束变为点约束，大大降低了模型的复杂度，并针对此模型进一步研发了新的point-based标定方法，令连续通用模型在SEM下的应用变成可能。.此外，本项目针对SEM图像的特征提取算法也进行了创新性的探索，提出并采用了特征点粗匹配和相关性计算细匹配相结合的查找算法与计算框架，优化了特征点提取算法，消除了SEM图像噪声对特征点提取的稳定性的影响，获取准确的特征匹配点。根据对应特征匹配点和预先标定的成像系统内部参数，优化SFM方法，确定了操作工具和纳米器件的三维相对位置关系。.本项目的研究成果至今已发表论文6篇，其中SCI收录3篇、EI收录3篇；申请发明专利2项；另有1篇SCI论文已被《Photonics Technology Letters, IEEE》接收。通过本项目的研究，揭示了SEM系统的成像规律，建立了针对SEM成像系统参数标定的连续通用成像模型；提出了组合式SEM图像特征提取算法，提升了SEM图像特征匹配的稳定性和精度，在低放大倍数下初步实现了操作工具和纳米器件的三维相对位置关系；基于上述成果，初步构建了一套基于SEM 图像序列的纳米尺度下的实时三维视觉信息反馈新方法，为提高纳米操作稳定性和效率提供一种有效的技术手段，后续研究团队将进一步对标定算法、匹配算法进行深入研究，增强算法的稳定性，为实现自动纳米操作与纳米制造提供技术支持。