基于微型旋翼无人飞行器的古代建筑影像获取与三维重建方法研究

From the actual requirements of Chinese ancient architecture 3D digitalization and documentation and the accuracy, portability, low cost, acquisition characteristics of 3d digitalization, this proposal is to integrate the path planning, viewpoint selection, image acquisition based on rotorcraft with 3D reconstruction and construct a technology framework and theoretical system of image acquisition and high quality 3D reconstruction for Chinese ancient architecture based on micro rotary unmanned aerial vehicle(MRUAV). The following 4 issues will be investigated: 1) The ancient architecture instance model estimation via sematic; 2) The best camera viewpoint selection based on MST model and path planning based on graph model; 3) Fast incremental 3D reconstruction combining instance model with prior information; 4) Fast incremental surface extraction from sparse point clouds. The project will establish and publish 3D reconstruction database with the images acquired from the MRUAV platform. Meanwhile, the prototype system will be demonstrated at Beijing Fangshan Yunju Temple scenic area. The proposal's outcome will provide a new technique for ancient architecture 3D digitalization and documentation, and promote the development of 3D vision.

本项目从中国古代建筑三维数字化保护与存档的实际需求出发，结合古建三维数字化过程中的精确性、便携性、低成本、采集快等特点，将路径规划、视点选择、旋翼机图像采集与三维重建统一在同一个框架下进行整体研究，拟获得一套完整的基于微型旋翼无人飞行器的古代建筑图像采集与三维数字化的技术框架与理论体系，实现古代建筑的高精度快速三维重建。主要开展如下四个方面的研究：1）基于语义先验信息的古建实例模型构建；2）基于最大生成树模型的最优视点选择与基于图模型的路径规划；3）基于实例模型与图像辅助信息相结合的快速增量式三维重建；4）基于稀疏三维点云的增量式古建表面模型快速提取。本项目将建立并发布国内外首个关于利用微型旋翼无人飞行器图像进行古建三维重建的数据库，并在北京房山云居寺景区进行原型系统的实验验证。通过本项目的研究，将为我国古代建筑三维数字化保护与存档提供一种新的技术手段，推动三维视觉应用的进一步发展。

本项目从中国古代建筑三维数字化保护与存档的实际需求出发，结合古建三维数字化过程中的精确性、便携性、低成本、采集快等特点，将路径规划、视点选择、旋翼机图像采集与三维重建统一在同一个框架下进行整体研究，获得一套完整的基于微型旋翼无人飞行器的古代建筑图像采集与三维数字化的技术框架与理论体系，实现古代建筑的高精度快速三维重建。主要研究内容包括：（1）提出了一种融合附加信息的大场景三维重建方法，在融合GPS、IMU传感器数据下实现大场景的快速鲁棒三维重建；（2）提出了一种快速、鲁棒的分段平面三维重建算法，以克服光照畸变、弱纹理区域等因素对三维重建的影响；（3）提出了一种基于场景结构先验信息的高效多平面提取算法，以解决传统全局或局部方法在提取平面时的缺失问题；（4）提出了一种基于卷积神经网络和结构先验的场景三维平面建模方法，以解决综合利用场景结构先验和图像高层特征信息进行鲁棒场景分割问题；（5）提出了一种基于Radon变换的数字图像角点提取算法，提高角点的定位精度同时保持对于噪声的高鲁棒性；（6）提出了一种基于相依性度量的动态系统的延迟估算方法，以解决无人机控制系统中存在的系统延迟问题。