基于曲面局部微分几何特性的图像配准与深度计算

Depth calculation based on multiple view images is fundamental for robotic localization and DEM generation, etc; The difference of image resolution and hue, view point, view angle and Len distortion bring about huge challenges for image matching and depth calculation. Usually the methods constructed only in two dimensional image spaces will make depth calculation have low preciseness even errors. To tackle the problem, the proposal will simultaneously take into account the matching of image features and the rationality founded on local differential geometry properties of scene surfaces, in order to get more accurate image matching and depth values: multiple possible image matching relations are obtained at first, and each relation corresponds to a patch of a manifold embedded in 3D space though the patch is represented by discrete points. The rationality of the patch is built on the differential geometry properties resulted from transition map, etc. A frame is built to optimize the image patching and the rationality scale, and finally the images are matched and depth values are gotten. Based on belief propagation etc, a system is built with adaptability of engineering applicable background, and with the preciseness of image matching and depth values dynamically tuned with requirements. Finally the system will be evaluated and analyzed objectively by benchmarks and practices.

基于多视影像的深度计算对机器人定位、三维地形生成等具支撑性作用；分辨率及色调差异、视角视点及镜头畸变等对图像配准和深度计算带来巨大挑战。仅在二维图像空间考虑的配准常致深度计算精度低甚至错误。为此，拟同时考虑二维图像匹配和基于曲面局部微分几何性质构建的三维合理性，以得到高精度图像配准和深度计算：由图像特征(颜色分布、形状特征、相关性等)建立图像局部多种可能配准关系；基于对极或多视几何，由任一可能配准关系进行深度计算进而得到表面局部离散表示；计算局部微分几何性质，由流形上离散邻近点间过渡映射等构建基于流形微分几何性质的合理性度量。建立融合图像匹配和合理性度量的优化框架，得到同时优化影像空间、三维空间合理性的图像配准与深度计算。基于置信传递等方法，建立一种图像配准和深度计算精度、复杂性随应用需求动态调节的，适合工程应用背景的图像配准与深度计算系统,通过标准测试集及现场应用客观分析与评价系统性能。

三维地形生成、机器人自主定位移动、医学手术导航、虚拟仿真等对高精准三维信息有迫切需求，影像配准与深度计算对三维信息获取具支撑性作用。鉴于三维目标在二维图像空间表达歧义性，相对于仅在二维图像空间考虑的图像配准和深度计算方法而言，同时考虑二维图像特征和物体表面微分特性合理性的方法具有显著优点，其研究具重要理论意义和实用价值。本项目主要研究内容包括：（1）确定可用于图像配准时物体表面三维合理性推断的几何特性及其在离散空间中的实现方法；（2）建立图像局部多种可能配准关系，由多视几何计算各配准点三维位置，得到目标表面微分几何特性的离散表示；（3）建立融合图像特征和曲面微分几何特性的图像配准和深度计算评价体系，用置信传递等协同优化二维图像匹配和物体表面三维合理性；（4）协同优化图像配准和三维合理性度量的快速实现途径，测试各实现途径的准确度和效率等综合应用性能。本项目主要研究成果为：（1）建立基于微分几何特性的曲面局部合理性判据，解决视点视角偏移较大图像的配准和三维深度计算问题；（2）在学术期刊及会议发表论文13篇。项目在5组公开数据集及2组真实场景采集数据集上取得显著效果，实验结果显示，项目研究多提出的多种方法在相关领域取得显著效果。（3）项目培养博士研究生5人，硕士研究生10人。 （4）相关成果获得2019年四川省科技进步一等奖。总体而言，本项目研究圆满完成研究任务。