融合社交语义环境的网络图像标注关键技术研究

For reducing the influence of semantic gap on image understanding in social networks, the models and algorithms fused social semantic network ontology and traditional image semantic analysis methods are proposed for complex image semantic content analysis and retrieval. The main contents of research include: (1) Propose a new concept of moving visual focus for saliency analysis, and study the image content representation model based on extended saliency region. (2) Use probabilistic graphical model for In-depth analysis of the relationship between the visual features and semantic concepts of image. By combining with the ontology of region position, a more accurate model of image semantic segmentation is achieved.(3) For different regions and different semantic concepts levels of images, multi-model based multi-label annotation algorithms are proposed for complex semantic concepts annotation in terms of their different characteristics. (4) Make full use of the context information provided by social networks to construct the social semantic network ontology, and propose new computational models and methods of social media collaborative annotation for network image semantic understanding. Our study involves mutimedia information processing, image understanding, pattern recognition and social computing, which has important theoretical significance, and widely applications in the field of multimedia information retrieval.

包含丰富社交语义信息的网络图像检索是当前社会多媒体知识发现的重要课题之一，本课题拟通过构建社交语义网络本体，并将其与传统的图像语义分析方法相结合，得到更为准确有效的图像标注模型。主要研究内容包括：（1）基于区域的图像内容表示方法研究，基于视觉注意力转移提出新的显著性分析方法和拓展显著性区域的图像内容表示模型；（2）图像语义分割研究，利用概率知识模型，深入分析图像视觉词及语义概念之间的关联，结合区域位置关系分析研究准确的图像语义分割算法；（3）图像多标签标注模型研究，利用图像不同区域不同层次的语义概念，采用多模型融合的方法构建标注新模型；（4）构建社交语义网络本体，提出用于社交网络图像语义理解的社交媒体协同标注新模型和新方法。本课题研究涉及多媒体信息处理、图像理解、模式识别、社会计算等多个学科，研究结果对于当前大规模网络图像的复杂语义内容分析及检索既有重要的理论意义，又有广泛的应用前景。

网络图像数据包含丰富的社交及语义上下文信息，这些信息能够有效地用于图像标注及检索。本项目通过深入探索图像语义分割、内容表示、以及区域标注等关键技术，结合社交语义上下文，研究更为准确有效的网络图像标注方法。本项目取得的主要研究成果包括：（1）提出了一种全新的基于视觉注意力转移的显著性对象分割方法，该方法取得了优秀的precision-recall比以及显著性对象分割效果，优于当前流行的算法；提出了一种纹理增强的JSEG图像分割算法，该算法能够有效地减少过分隔并对复杂纹理图像进行准确分割。（2）提出了基于拓展的显著性区域的图像内容表示方法，以及基于RoI-BoW的图像内容表示模型，实验表明，以上两种图像内容表示模型能够更为精确地表示图像的视觉内容，使得图像检索及标注的准确率显著提高。（3）提出了基于多层分割内容表示的图像区域标注模型以及基于区域语义相关性分析的图像标注算法，大大提高了图像多标签标注的准确性，并实现了准确的图像区域语义分析。（4）提出了融合社交语义上下文分析的视觉语义关系图模型，实验证明，该模型能有效地利用社交上下文信息结合视觉语义关联实现网络图像的区域标注；提出了一种基于块尺度优化的结构化图像修复方法，实验证明该图像修复算法能够有效地修补图像缺损，最大限度地恢复原图。本项目在国内外学术刊物和会议上发表学术论文9篇，其中SCI索引的国际期刊论文5篇；EI检索的国际会议论文3篇；国内核心期刊论文1篇。申请国家发明专利7项，其中3项获得授权。培养硕士研究生5名。本项目研究涉及网络图像语义理解的各个关键技术，成果丰硕，既有重要的理论意义，又有广泛的应用前景。