显著视觉相似性度量模型及应用

Visual similarity is one of the fundamental problems in computer vision and pattern recognition. This project proposes a novel saliency-based visual similarity model, which employs global formulation. It integrates the studies of feature representation, high-level feature and similarity function into a unified framework. The proposed method is robust and adaptive. Meanwhile, it avoids local minimum in optimization, overcomes the sensitivity of feature representation and bypasses the uncertainty in visual matching. This general-purpose method is computational efficiency. And it can be used in various vision applications, such as object detection and recognition. In this project, we select video analysis and image retrieval as case study to demonstrate the superior of the proposed method.

相似性度量是计算机视觉、模式识别等领域中核心和基础性的问题。本项目提出了一种新的显著视觉相似性度量模型，该模型采用全局建模方式，将底层特征表达函数、高层语义表征模型和相似性度量建模到统一框架中，在满足整体模型约束的条件下求解各个部分参数，从而保证了模型的全局最优性。该模型具有良好的适用性、鲁棒性和可扩展性。解决了传统方法建模过程中存在的“局部最优性”以及算法设计过程中特征表达的不稳定性和度量的特征敏感性等问题，提高了相似性度量的准确性和鲁棒性。该模型不依赖于特定的问题，计算快速有效，能广泛应用于目标表示、物体检测与识别、运动分析等领域。本项目提出显著视觉相似性度量模型，并给出其在视频的运动分析和大数据库图像检索中的应用，将极大的促进计算机视觉领域中以相似性度量算法为核心的多种应用的发展。

相似性度量意在解决如何有效的度量两个物体间的距离，已成为计算机视觉、模式识别等领域长期的基础性问题。在传统的相似性度量中，数据的底层特征表示、高层语义表征模型以及距离度量方法是三个至关重要的部分，如何将这三个部分整合到统一框架中，从而解决每个部分是局部最优而不是整体最优是本项目研究的重要课题。针对以上问题，本项目的主要研究内容包括：（1）显著性视觉相似性度量的理论研究，包括基于多特征融合的自适应相似性度量方法、显著视觉相似性度量的数学模型构造等，以解决整体最优的问题；（2）结合视觉显著性的高效图像特征表示的理论研究；（3）基于高效的图像特征表示与显著视觉相似性度量理论的应用，包括弱监督下高效的图像表征方法、自然场景中文字特征的表示方法、行人重识别中的距离度量方法等。.围绕以上研究内容，项目前期主要研究成果包括：（1）提出了两种显著视觉相似性度量的数学模型构造方法，高效快速的基于马氏距离的自适应度量学习方法和复杂场景下基于超球面的相似性度量方法，解决整体最优的问题；（2）为挖掘不同特征表达方式之间的互补性，提出一种基于多特征融合的自适应相似性度量方法；（3）提出多种高效的图像特征表示方法，其中包括：为保证图像特征表示的多样性，提出一种基于多示例学习的图像多模式特征的表征模型；为保证中层图像表达的高效性，提出一种利用lasso正则化提取不同类别间共享的表征模式的方法。.相比较传统的分步的手工设计的特征而言，深度神经网络中以数据为驱动，整合图像低层、中层、高层特征表达以及模式判别为一体的理念，为项目中将图像的特征表达与相似性度量整合到统一框架的目标提供了有力的实现途径。通过将本项目的研究成果与深度神经网络相结合，产生大量高效、实用的应用，项目后期主要研究成果包括：（1）将度量学习理论和深度神经网络中的注意力机制相结合，提出一种利用基于注意力机制获取图像显著性特征的行人重识别方法；（2）提出一种通过相似性度量将多个显著性区域聚合为单一区域的端到端神经网络的方法来解决弱监督物体检测的问题；（3）针对深度神经网络感受野有限的问题，提出一种利用特征相似性来融合上下文信息的物体分割方法。.显著相似性度量理论并不局限于单一的应用，通过和深度神经网络整合为统一的框架，极大促进了大量的实际应用，包括：自然场景文字检测与识别、通用物体检测、手势识别、行人重识别、视频中物体的跟踪等。