面向非特定流形结构化数据的稀疏编码关键技术研究

Nowadays more and more fields need to process manifold-structured data, i.e. the data whose domains have manifold structures. The underlying patterns of these data can be effectively discovered by sparse representation. However, most existing techniques for sparse representation only deal with Euclidean-structured data like images and videos, while the ones for manifold-structured data are far from satisfactory. In particular, some approaches for manifold-structured data are mainly designed for specific manifolds, which do not work when the manifold is unknown. To address this issue, this project aims at investigating and developing the sparse coding and dictionary learning approaches for the data with generic manifold structures. The main contents of this project include: (1) the construction of basic sparse coding models via exploring the multi-graph representation of manifold-structured data; (2) the extension of the basic models to nonlinear sparse coding by using kernel mapping and low-dimensional embedding; (3) improving the discriminability of sparse coding by designing effective discriminative models based on the manifold structure. The project is of great significance to the development of manifold-structured data analysis, and it can also provide new insights and new methodologies to the geometric deep learning which is the deep learning for non-Euclidean structured data.

目前越来越多的领域需要处理流形结构化数据，即定义域具有流形结构的数据。对这些数据进行稀疏表示，能有效挖掘出其内在模式。然而，目前的稀疏表示技术绝大多数是面向图像和视频等欧几里得结构化数据，而关于流形结构化数据方面的技术研究明显滞后。特别是，现有的相关工作绝大多数只针对特定的流形，无法用于未知流形的情况。为此，本项目拟针对非特定流形结构化数据，研究并提出有效的稀疏编码和字典学习方法。项目研究内容主要包括：（1）研究流形结构化数据的多图表示，据此构造稀疏编码的基本模型；（2）运用核映射与低维嵌入，把基本模型拓展到非线性稀疏编码；（3）针对流形结构，设计有效的判别式模型，提升稀疏编码的区分性。本项目的研究对促进流形结构化数据分析技术的发展具有重要意义，也能为面向非欧结构化数据的几何深度学习技术提供新思路和新方法。

在很多领域中，所处理的数据通常定义或分布在未知的低维流形上。稀疏编码及字典学习是分析和发现数据潜在流形结构的有效方法，能为具体任务提供重要的数据表征。本项目旨在针对多个常见的计算机视觉任务，运用判别式编码、非局部图表示、核映射与隐式嵌入等手段，研究有效的稀疏编码和字典学习方法，有针对性地挖掘和利用视觉数据潜在的未知流形结构，提升任务性能。本项目按申报书的基本计划进行，在实施期间针对具体应用丰富和细化了研究内容，并结合当前技术发展趋势对项目内容进行了一定的拓展。目前项目已经完成的研究内容包括：（1）图像结构/纹理的区分性非局部图表示及稀疏编码模型；（2）基于正交卷积分解的张量数据高效稀疏编码及补全方法；（3）面向半参考图像质量评估的未知流形核稀疏表达模型及方法；（4）稀疏正则化模型启发的边缘协同机制及其在降晰文本图像复原中的应用；（5）基于周期区分性流形稀疏编码的单图像去反射重影技术；（6）面向视频行为识别的分组稀疏结构化注意力机制；（7）几何先验驱动的弱监督流形稀疏编码的交互式纹理分割技术；（8）图像特征流形的决策森林判别式稀疏编码方法；（9）基于混合稀疏编码及字典学习的模糊图像全参考质量评估方法；（10）面向复原及重建的图像(子块流形)的稀疏/深度重参数化。基于以上成果，项目后期也对面向图像处理的端到端无监督学习方法进行了一定探索。项目研究达到了预期目标，部分量化指标超额完成。项目实施期间共发表了三十五篇高水平学术论文（含十六篇JCR-1区期刊论文，八篇CCF-A类会议论文），获授权发明专利两件。项目的研究成果能为机器学习及计算机视觉相关研究领域提供新思路和新方法。