面向点击与视觉特征融合的结构化图像排序方法研究

Recently, click data analysis and its applications in learning to rank model have received extensive research and attentions. How to efficiently utilize click data is one of the key issue in web page retrieval, image retrieval, video retrieval, etc. The aim of this project is to study an efficient click data based image retrieval approach. In this project, we first study effective multimodal visual feature extraction methods and analyze their complementary characteristics. Afterwards, we study hypergraph learning to describe the manifold of image distribution. Then, we adopt alternating optimization and sign search algorithm to predict click data. Finally, we integrate click data and visual features by proposing a novel structured learning to rank model and solve the objective function by using fast alternating linearization method. The project team has a good foundation in multimodal feature analysis, sparse coding and image ranking. This project will bring further improvement to click data analyis and its application in image retrieval.

近年来，将用户点击数据应用于排序模型已受到越来越多的研究和关注。如何有效利用点击数据已成为包括网页检索、图像检索、视频检索等应用的重要研究内容。本项目研究目标是针对图像检索中存在点击数据稀疏、单一视觉特征无法有效描述图像内容、图像点击特征与视觉特征无法有效融合等问题，利用图像的多模态视觉特征，进行互补性分析，用以有效描述图像之间的相似性；依靠超图模型中的超边设计，实现基于图像视觉特征的流形构建；依据稀疏表达和超图模型，采用符号检索技术及交替优化技术实现对用户点击数据的预测；利用结构化排序学习模型实现图像点击特征和视觉特征在图像检索中的融合利用，并采用交替线性优化算法实现高效的图像检索。项目组具有良好的多模态特征分析、稀疏表示、图像排序算法方面的研究工作基础。本项目将为用户点击数据分析及其在图像检索中的相关应用提供坚实的理论成果、算法基础和实现技术。

1 将用户点击数据应用于排序模型已受到越来越多的研究和关注。如何有效利用点击数据已成为包括网页检索、图像检索、视频检索等应用的重要研究内容。本项目研究针对图像检索中存在点击数据稀疏、单一视觉特征无法有效描述图像内容、图像点击特征与视觉特征无法有效融合等问题，利用图像的多模态视觉特征，进行互补性分析，用以有效描述图像之间的相似性；依靠超图模型中的超边设计，实现基于图像视觉特征的流形构建；依据稀疏表达和超图模型，采用符号检索技术及交替优化技术实现对用户点击数据的预测；利用结构化排序学习模型实现图像点击特征和视觉特征在图像检索中的融合利用，并采用交替线性优化算法实现高效的图像检索。本项目为用户点击数据分析及其在图像检索中的相关应用提供了坚实的理论成果、算法基础和实现技术。