基于多模态超图的社群图像检索研究

The research of social image retrieval is an important issue in the area of image processing. One of the most important and fundamental problem in this issue is how to ultilize the multi-modal information of visual content, textual tag and user features to improve the performance of social image retrieval. Thus, how to modal these multi-modal information is a crucial step to solve this problem. We will introduce the hypergraph theory into image represantation and retrieval in this study, and build a multi-modal hypergraph to describe the relationship between social images. We aim to build an social image retrieval system with the help of the theory of vision recognition and complex network. .The research topics include: (1) The representations of image visual content and image similarity measure based on hypergraph; (2) Social image tag refinement and completion based on Deep LDA modal; (3) The representation of social image relationship based on multi-modal hypergraph; (4) Hypergraph learning and ranking for social image retrieval. The characteristics of this study are: (1)We introduce the theory of hypergraph into the representations of both social image relationship and image visual content, which provides a theoretical basis for improving the method of image representation and enchacing the performance of social image retrieval. (2)We introduce the theory of hypergraph learning and ranking into social image understanding and retrieval.

社群网络图像检索是当前图像处理领域的一个研究热点，其中最核心的问题是如何综合利用社群图像的视觉内容、文本标签、用户特征等多模态信息来提高图像检索的性能，而解决这一问题的关键在于如何对这些多模态信息进行建模。本项目将超图理论引入图像表示和检索，建立基于多模态超图的社群图像关系模型，研究目标是基于视觉认知理论和复杂网络理论实现社群图像检索。主要研究内容包括：(1)基于超图的图像视觉内容表示和相似性度量；(2)基于深度LDA模型的图像标签修正；(3)基于多模态超图的社群图像库建模；(4)超图学习及检索结果排序。本项目的特色是：(1)以海量社群图像为研究对象，分别在社群图像库建模和图像视觉内容表示两个层面引入超图模型，为从理论上改进图像表示方法、提高图像检索性能提供了基础；(2)将超图学习及排序理论有机地融入到社群图像理解及检索中。

社群网络图像检索是当前图像处理领域的一个研究热点，其中最核心的问题是如何综合利用社群图像的视觉内容、文本标签、用户特征等多模态信息来提高图像检索的性能，而解决这一问题的关键在于如何对这些多模态信息进行建模。本项目将超图理论引入图像表示和检索，建立基于多模态超图的社群图像关系模型，研究目标是基于视觉认知理论和复杂网络理论实现社群图像检索。本项目的特色是：(1)以海量社群图像为研究对象，分别在社群图像库建模和图像视觉内容表示两个层面引入超图模型，为从理论上改进图像表示方法、提高图像检索性能提供了基础；(2)将超图学习及排序理论有机地融入到社群图像理解及检索中。..课题组成员围绕着既定的研究目标，经过四年的研究工作，取得了一系列的研究成果。代表性的研究内容包括：1）提出了一种基于分支路径流的图匹配算法；2）提出了一种基于图神经网络的图学习算法；3）提出了一种基于图匹配的平面物体跟踪算法；4）提出了一种标签排序的人脸年龄估计算法；5）提出了一种基于低秩矩阵分解的多标签学习算法；6）提出了基于标签检测的显著性检测算法。..在本课题的资助下，项目组成员取得了如下的研究成果：1）在IEEE TPAMI、TKDE、TMM等领域顶级学术期刊上发表SCI论文12篇；2）在领域内顶级国际学术会议CVPR、ICCV、AAAI、ICRA发表国际学术会议论文4篇；3）申请发明专利4项；4）参与项目的3名青年教师成功晋升教授，培养硕士研究生5名。