基于信息几何和测度学习的混合高斯模型距离研究及在图像分类中的应用

Gaussian Mixture Model (GMM) has widespread applications in image processing, pattern recognition and machine learning. Recently GMM-based image classification methods have achieved great advance. One of the fundamental and challenging problems is how to measure distance between GMMs. According to the theory of information geometry, the spaces of distributions are Riemannian manifolds, and thus the most appropriate distance in the manifold should be based on Riemannian metrics. However, existing methods either fail to leverage the geometrical structure of the underlying statistical manifolds, or are just based on approximation of Riemannian metrics, which restrict their performance. To address the shortcomings of the existing methods, we perform research in both theory and application focusing on the fundamental problem of the distance between GMMs. Firstly, we study a novel method embedding the Gaussian manifold into the space of symmetric positive definite (SPD) matrices and further map the latter into the reproducing kernel Hilbert space (RKHS); this method preserves the Riemannian geometrical structure of Gaussian manifold. Secondly, we propose the Riemannian super-vector based on the universal background Gaussian mixture model (UBM-GMM) to measure the difference of probability distributions. Furthermore, we present the large margin machine learning method to learn the distance metrics between GMMs. Finally, we study the applications of Riemannian super-vector and large margin GMM distance metric learning method in image classification.

混合高斯模型(GMM)广泛地应用于图像处理,模式识别和机器学习等领域.近年来基于GMM的图像分类方法取得了令人瞩目的进展.在GMM研究中一个基本而又具有挑战性的问题是如何度量GMM之间的距离.信息几何理论指出概率分布形成的空间是黎曼流形,因此只有基于黎曼测度才能准确度量流形上不同点的差异.然而由于当前方法或者未利用流形结构或者只是基于黎曼测度的近似，限制了这些方法的性能.本项目围绕GMM之间的距离这一基本问题,基于信息几何和测度学习开展理论和应用研究.首先研究一种将高斯流形嵌入到实对称正定矩阵空间再进一步映射到可再生核希尔伯特空间的方法,该方法能够保持高斯流形的黎曼几何结构.在此基础上,提出基于通用背景混合高斯模型的黎曼超向量方法度量概率分布的差异.进一步研究基于稀疏表达推土距离的大间隔机器学习方法学习GMM之间的距离测度.最后研究将黎曼超向量和大间隔GMM距离测度学习方法应用于图像分类.

本项目针对混合高斯模型之间的距离这一基本科学问题，基于基于信息几何和机器学习开展理论研究并探索其在图像分类和识别中的应用。首先，定义了高斯分布之间的乘法运算并证明高斯分布空间是一个李群，提出两种将高斯分布嵌入到矩阵群继而映射到希尔伯特空间的方法。在此基础上，提出局部对数欧式高斯图像描述子，其性能在词袋图像分类框架中大大优于常用的经典描述子(例如SIFT和HoG)；提出全局高斯嵌入深度卷积神经网络模型，比经典的全局均值聚合网络模型具有更好的性能。在前述高斯分布空间的李群结构基础上，研究了基于通用背景混合高斯模型作为字典/基函数对图像进行高阶编码和分类的方法。提出将高斯分布嵌入到李群中进行局部约束线性编码后得到超向量作为图像表达的分类方法，以及基于高斯分布的局部约束仿射子空间编码方法。进一步，在没有通用字典/基函数的情况下，提出基于稀疏表达推土距离的混合高斯模型距离测度和图像分类方法；提出使用低秩分解和大间隔机器学习对图像进行全局高斯建模和匹配的方法；提出基于可再生核希尔伯特空间和深度卷积特征的全局高斯建模方法。在理论层面，本项目首次定义并证明了高斯分布空间的李群结构，突破了高斯分布空间仅仅是黎曼流形的传统认知，大大加深了对其代数和几何结构的理解；提出了一系列对混合高斯模型进行编码和相似性/相异性比较的数学模型和优化方法，将混合高斯模型距离测度这一基本问题的研究向前推进了一大步。在应用层面，本项目所提出方法在物体识别、纹理分类、精细粒度识别以及场景分类等任务中都取得了领先的性能；基于本项目所提出的图像表达及视觉识别方法，课题组参加了阿里巴巴大规模图像搜索大赛ALISC 2015并获得亚军，参加了CVPR 2018大规模精细粒度8000类物种识别挑战赛并获得冠军。这表明本项目所研究的方法在实际的大规模视觉搜索和识别任务中具有很好的应用前景。