有向图谱理论在图像匹配中应用研究

Image matching is one of the most important research contents in computer vision and image processing. It has been a difficult and hot issue which has not yet been fully resolved. It is the basis for a variety of image processing applications such as object recognition, change detection and 3D modeling, and its effect will directly affect the performance of subsequent image processing work.. This project tries to utilize directed spectral graph theory to deal with the image matching problem. We aim to build a strong applicability, high robustness spectral descriptor, and give some new algorithms with high accuracy and robustness. The main research contents include:. 1) The directed graph model constructing. According to the drawback that the undirected graph models in the existing algorithms can not fully reflect the characteristics of the point sets, we utilize the edge directions of the directed graph model to provide more information of the point set.. 2) The spectral descriptor building. Some matrices, such as Hermite matrix, anti-symmetric matrix are constructed to represent the directed graph model in the complex field. We shall discuss the feature matching problem of two-dimensional plane in the complex field, and build spectral descriptor with high robustness.. 3) Multiple descriptors fusing: To further improve the matching precision, we shall find an effective way to fuse the spectral descriptor with other good descriptors, such as the shape context, relative angle histogram descriptor.

图像匹配是计算机视觉、图像处理中最重要的研究内容之一，一直是人们研究的难点和热点，至今尚未得到充分解决。它是多种图像处理及应用如目标识别、变化检测、三维建模等的基础,其效果将直接影响到后续图像处理工作的效果。. 本项目利用有向图谱理论来研究图像匹配问题，旨在构建一种适用性强、鲁棒性高的谱描述子，并给出一些匹配精度高、鲁棒性好的新算法。主要研究内容包括：. 1）有向图模型的构造：针对无向图模型不能充分反映特征集信息的缺点，引入有向图模型，利用边的方向提供特征之间更多的关系信息。. 2）谱描述子的构建：在复数域上构造有向图模型的矩阵表示，如Hermite矩阵、反对称矩阵等，在复数域中讨论二维平面中特征匹配问题，构造具较高鲁棒性的谱描述子。. 3）多描述子的融合：研究将所构建的谱描述子与另一些有较好表现的描述子进行融合，如形状上下文、相对夹角直方图描述子等。

本项目基于有向图谱理论对图像匹配算法进行了深入研究，针对待匹配点集的特点，构建了具有几何结构特征的图模型，利用不同类型的矩阵对图模型进行代数表示，并通过对图模型的代数表示进行分析计算，构建了多种具较高鲁棒性的谱特征描述子，给出了特征匹配的新算法。主要研究内容包括：图模型的构造及其矩阵表示，谱特征描述子的构造与融合。.在本项目的支持下，项目组按照研究计划圆满完成了规定的研究内容，发表论文16篇，其中SCI收录3篇，EI收录5篇，EI待收录4篇，研究成果超出了预期成果。主要成果如下：（1）针对待匹配点集的特点，构建了有向图、有向超图等图模型，利用关联矩阵、Laplace矩阵、邻接张量等对图模型进行代数表示，（2）通过对图模型的代数表示进行分析计算，构建了多种具较高鲁棒性的谱特征描述子，并应用图匹配方法的同时引入马氏度量、椭圆型度量、双曲线度量、最大池策略等，提高了匹配的精度和鲁棒性；（3）同时将研究成果应用于智能视觉分析方面、在目标检测、识别、跟踪等方面取得了较好的结果；（4）培养了一批从事计算机视觉、图像处理、模式匹配等方面研究工作的研究生，其中已毕业博士研究生2名、硕士研究生 1名，正在培养的有博士研究生2名、硕士研究生5名。