基于多示例学习的视觉注意建模及应用研究

The topic focuses on the gap between current visual attention models and high-level semantics of human perception and the user intent, proposes a visual attention model on multi-example images using the multiple-instance learning method. Based on human visual perception and existing research achievement of visual attention models, we study the selection and extraction of visual features, prominent feature fusion pattern and focus of attention shift, construct a visual attention computation model based on multiple-instance learning, apply it in the field of image retrieval to improve the precision rate and verify effectiveness of the model, which provides theoretical principle and model reference of image analysis and understanding. This topic aims at expressing high-level semantics of multi-example images and true user intent efficiently, reducing the semantic gap and make image analysis and understanding more close to human perception. Therefore, researching on this topic has significant theoretical meaning and practical value.

本课题是针对目前视觉注意模型与人类感知的高层语义以及用户主观意向之间存在鸿沟的问题，面向多样例图像，利用多示例学习方法，提出一种基于多示例学习的视觉注意模型。从人类视觉感知特性出发，在现有视觉注意模型研究成果的基础上，研究基于多示例学习的视觉特征选择与提取方法、基于关注度的特征融合模式、基于兴趣对象的视点转移模拟，构建基于多示例学习的视觉注意计算模型，并将其应用于图像检索领域以提高查准率、验证模型的有效性，为图像分析与理解提供理论基础和模型参考。本课题的研究旨在有效表达多样例图像的高层语义及用户主观意向，缩小语义鸿沟，使图像分析与理解过程更接近人类的感知。因此，本课题的研究具有十分重要的理论研究意义和实用价值。

针对多样例图像，利用多示例学习方法，从人类视觉感知特性出发，研究图像视觉特征选择与提取、特征融合、显著对象提取以及视点转移模拟方法，提出基于多示例学习的多样例图像视觉注意计算模型。从自显著性、全局对比显著性、局部对比显著性以及稀疏性四方面衡量不同视觉特征的显著性，提出了不同特征通道对视觉刺激的特征显著性计算方法，以及基于多示例学习的特征与图像相关度分析方法、基于一致性的示例选择方法，设计了基于关注度的多特征显著度融合算法，形成综合视觉显著性表征，提取显著对象并模拟对象的视点转移过程。与已有的视觉注意模型相比，提高了显著对象的完整性，提出的视觉注意模型可以更好地反映关注的目标内容，更接近于人类主观视觉注意过程，有效地表达了多样例图像的高层语义及用户主观意向。将提出的模型应用到多样例图像检索中，提高了图像检索的正确率，缩小了多样例图像语义鸿沟，使图像分析与理解过程更接近人类的感知。