基于跨媒体语义关联模型的图像检索技术研究

How to use the information of associated texts or tags to a given image for content-based image retrieval task is investigated in the proposal.Bag-of-features model and topic models are used to model the image and its associated texts or tags, respectively. The corrleation between these two high-level semantic representations will be studied. Automatic learned topic distributions will be used to label images， that is referred to as semantic annotation. More textual words or tags are provided, more precise semantic representations we can obtain for the given image, as well as improved search quality. Based on such a correlation, we propose a new nonparametric Bayesian model by considering the crowdsoucing effects of the tags. We use a systematic probabilistic generative model to describe such cross-modal semantic correlations. The variational method is used and the updating equations are deduced. The significance of this new correlation model is not only limited to image-text modality, it can be applied to study any cross-modal information correlations.

如何能更好的利用图像附带的文本与标签信息来帮助改善基于内容的图像检索是本项目重点研究的问题。本项目利用"特征包模型"和"主题模型"，分别对图像及其周围文本或标签进行建模，挖掘图像特征与关联文本语义之间的联系。同时提出自动的语义标注模型，获取图像在语义主题上的分布情况。使得在用户提供越多信息的情况下，越能够得到更加准确的检索结果。在此基础上我们提出了一种新的非参数贝叶斯模型来对语义关联中的"众包"特性进行建模。把属于不同媒体的信息的语义关联用一个完整和系统的概率生成模型表达，并给出了该模型的变分推理方法。该模型的重要意义在于可以应用到任何跨媒体的信息关联的建模中，并不只局限于图像和文本。

如何能更好的利用图像附带的文本与标签信息来帮助改善基于内容的图像检索是本项目重点研究的问题。也是跨媒体检索研究的热点问题之一。本项目提出了利用“特征包模型”和“主题模型”，分别对图像及其周围文本或标签进行建模，挖掘图像特征与关联文本语义之间的联系。在此基础上提出了Topic Correlation Model (TCM) 模型，通过与现存的同类方法比较体现出比较好的准确率。同时提出自动的语义标注模型，获取图像在语义主题上的分布情况。使得在用户提供越多信息的情况下，越能够得到更加准确的检索结果。在此基础上我们提出了一种新的非参数贝叶斯模型（NPBUS）来对语义关联中的“众包” 特性进行建模。把属于不同媒体的信息的语义关联用一个完整和系统的概率生成模型表达， 并给出了该模型的变分推理方法。该模型的重要意义在于可以应用到任何跨媒体的信息关联的建模中，并不只局限于图像和文本。项目的重要意义在于我们利用不同模态的信息可以建立一个新的语义空间，在这个空间上语义相类似的多模态信息可以聚类，为跨媒体检索提供了新的机器学习模型与相应技术。