基于近邻随机图模型的图像结构化建模理论与应用研究

The structural information embedded in images and videos provide the base of their deterministic graph modeling. While the imperfect image formation process and the diversity of image contents restrict the descriptive power of the traditional deterministic structural graph. In recent years, random graphs have been more and more used in image processing. There already exist some important research outcomes. Building a systematic theoretical framework of random graph modeling of digital images is still an open problem. Their ability of data description and discovery of implicit relationships is far less studied. Proximity random graph is a special kind of random graphs. They have the advantages of easy formation and randomicity. This project will study on proximity random graph modeling of images, vertorization of proximity random graphs, distance measure, and applications in digital image processing and analysis based on statistics and modern graph theory, especially random graph theory. We will focus on studying proximity random graph models, including geometric random graph, K nearest neighbor random graph and Delaunay random graph, and their comparisons and their analysis, proximity random graph matching, vectorization of proximity random graphs, and applications in image retrieval.

图像和视频中的结构性信息为图模型的应用提供了基础，确知性结构图已经被成功应用于图像及视频的分析与识别。但不完善的成像过程和图像内容的多样性决定了传统的确知性结构图无法精确地描述这类复杂的数据。由此人们对随机图在图像处理领域的应用产生浓厚兴趣，并取得了一些重要成果。然而随机图在图像处理中的应用还没有形成完善的体系,其强大的数据描述能力和潜在关系发现能力远没有得到充分利用。近邻随机图是一种特殊的随机图,具有构造简便和随机性好的特征。本项目拟以统计学理论和现代图论特别是随机图理论为基础，深入研究近邻随机图的图像建模、矢量特征提取、距离度量以及在数字图像处理与识别中的应用。具体研究包括几何随机图、K 近邻随机图和Delaunay 随机图等图像近邻随机图模型的建立和分析、近邻随机图匹配理论和方法、近邻随机图矢量特征提取，以及近邻随机图在图像库检索中的应用等。

经过四年的研究，项目组完成了研究任务和预设目标。主要研究成果包括提出了一种新的特征匹配松弛模型、多图学习卷积网络（M-GLCN）图像共显著性估计方法、图扩散嵌入网络模型(GDENs)、图学习卷积网络（GLCN）、能用来表示并匹配图像的鲁棒随机结构图模型、图的拉普拉斯-Tucker张量分解（GLTD）的图像表示和学习方法、图像集表示和分类的方法、可以用来表示两个图之间的相似性的混合再生图核（HRGK）、更通用的鲁棒和鉴别多类特征选择框架、基于判别L2图的维数约简方法等。项目在国内外学术期刊和会议上发表相关论文24篇，代表作发表于IJCV、IEEE T-MM、CVPR、NIPS、ACM MM和AAAI上。在相关的数字图像处理本科课程方面获批首批国家级一流本科课程（线下）。申请了2项发明专利。指导3名学生获得博士学位、10名学生获得硕士学位。邀请外国专家来华讲学1人次，应邀出国做学术报告5次、国内做学术报告10次。以本项目研究为基础，成功获批1项国家自然科学基金重点国际合作项目。