基于稀疏表达与间隙度描述的纹理分析研究

Texture is one of the most fundamental features in natural images and videos, and texture analysis is one of the fundamental problems in computer vision, which plays an important role in a lot of computer vision applications. In the past decade, great progress has been made in texture analysis. However, there is still room for improvement in existing methods. This project aims at developing effective texture analysis methods from three aspects: local texture pattern extraction with sparse dictionary learning, global texture feature description using lacunarity analysis, and higher-level texture representation via sparse coding. We propose to develop invariant dictionary learning methods for enhancing the robustness of local texture pattern extraction to viewpoint changes and environmental variations. Regarding the processing of high-resolution data, we propose to develop structured tensor dictionary learning methods, which are expected to reduce the computational cost in local texture pattern extraction. In order to capture the details of spatial and temporal distributions of local texture patterns, we propose to develop global texture features by examining the multi-scale behavior of lacunarity of patterns. In order to effectively extract the higher-level representation from global features of data, we propose to introduce ensemble learning and kernel tricks for developing supervised sparse coding methods which can well handle nonlinearities of data. This project will provide a promising way for texture feature extraction to boost its performance and improve its applicability.

纹理是自然图像和视频的最基本特征之一，而纹理分析一直是计算视觉领域的基本问题，也是众多计算视觉应用的关键环节。纹理分析的研究在过去十年取得了很大进展，但现有方法在性能和实用性方面仍有很大的改进空间。本项目拟从三个方面开展对纹理分析方法的研究：基于稀疏字典学习的纹理局部模式提取方法、基于间隙度分析的全局纹理描述方法和基于稀疏表达的高层次纹理特征提取方法。我们拟提出不变性字典学习方法，以提升局部模式提取对拍摄视角变化及环境影响的鲁棒性。针对高清图像和视频数据，我们拟提出结构化张量字典学习方法，以减少局部模式提取的计算开销。为捕捉局部模式的空间和时间布局细节，我们拟通过分析局部模式间隙度的多尺度行为构建全局纹理特征。为有效提取高层次纹理特征，我们拟引入集成学习机制和核方法，提出能高效刻画数据非线性的有监督稀疏编码方法。本课题的开展将会为提升纹理分析性能和增强其实用性提供新思路。

纹理是视觉数据的最基本特征之一，能为很多计算视觉任务提供重要的线索。本项目对图像/视频的纹理特征提取和描述开展了深入的研究，基于稀疏表达和间隙度描述子，围绕局部特征、全局特征、高层次特征三个方面提出了有效的纹理分析方法，并发展出一系列针对图像的稀疏表达方法。主要的研究成果包括：(1) 提出了基于字典学习的纹理局部特征分析方法，并应用于视觉数据局部纹理填充以及弱监督纹理分割，在这两个任务中皆取得了世界一流的实验结果；(2) 提出了面向视频的时空多重间隙谱，用于提取视频中的动态纹理特征，在多个动态纹理数据集上取得了世界一流的分类结果；（3）结合结构化稀疏编码和集成学习，提出了有效的数据集特征提纯方法，该方法能用于纹理图像乃至自然图像的高层次特征提取，并在多个图像分类任务中取得了优秀的结果; (4) 把雨滴图层建模为特定模式的纹理，针对其特有的属性，提出一种能用卷积操作实现的雨滴检测方法，该方法能有效地辅助卷积网络去除图像中的雨滴遮挡。基于以上成果，项目开展期间共发表了13篇高水平学术论文，其中包括2篇CCF-A类会议论文，6篇JCR-1区期刊论文，以及5篇JCR-2区期刊论文。项目的研究成果能应用于图像/视频的分类、分割和处理任务中，同时为稀疏表达、字典学习，以及深度学习领域提供了新模型和新思路。