网络异构媒体中图像与文本间的语义相关性建模研究

On the Internet, multi-modal heterogeneous web data have the characteristics of correlated high-level semantics and heterogeneous low-level features, which leads to the challenges in the field of cross-media retrieval, web image tagging and multimedia social network. This project focuses on the modeling of semantic correlation between multi-modal heterogeneous web data, which is the central fundamental problem in above fields. With the heterogeneous data of web images and texts as the object of research, the project studies the following three points: first, exploring a data representation method suited for semantic correlation analysis based on the combining the features of heterogeneous web data and their social interaction characteristics; Second, learning a set of uniform semantic units for heterogeneous data, building the semantic correlation model based on hybrid graphs, and measuring the similarity of semantics on the model; Third, to make the semantic correlation model consistent with the change of the data distribution over time, the project explores how to update the correlation model online. This project devotes to exploring and solving the creative problems and methods, and building the theory and method of semantic correlation modeling between the heterogeneous data of web images and texts. The fruits of the project can make the theoretical foundation for the field of cross-media retrieval, web image tagging and multimedia social network, and technically support the national great demands including intelligent service and efficient use of web media and digital content production and service industry.

针对网络多源异构数据高层语义相关、底层特征异构的特点，以及由此带来的网络跨媒体检索、网络图像标注、多媒体社会网络等领域的挑战，研究其中的关键基础问题- - 网络多源异构数据的语义相关性建模。本项目以互联网上最广泛的文本和图像数据为研究对象，结合异构数据本身特征和其社会交互属性研究适合于语义相关性分析的数据表示方法；挖掘两类异构数据统一的语义基元，在此基础上基于混合图结构建立语义相关性模型并计算相关性距离度量；为了更好地使模型适应于网络异构数据分布随时间的动态变化，本项目进一步研究语义相关性模型的在线动态更新。项目研究目标是致力于深入研究和突破语义相关性分析中的创新性研究问题与方法，构建一套网络图像与文本两类异构数据的语义相关性建模理论与方法，为跨媒体检索、网络图像标注及多媒体社会网络等问题奠定关键理论基础，为网络媒体高效利用与智能服务、数字内容生成与服务产业等国家重大需求提供重要技术支撑。

针对网络多源异构数据高层语义相关、底层特征异构的特点，以及由此带来的网络跨媒体检索、网络图像标注、多媒体社会网络等领域的挑战，研究其中的关键基础问题——网络多源异构数据的语义相关性建模。本项目以互联网上最广泛的文本和图像数据为主要研究对象，结合异构数据本身特征和其社会交互属性研究适合于语义相关性分析的数据表示方法；挖掘两类异构数据统一的语义基元，在此基础上基于混合图结构建立语义相关性模型并计算相关性距离度量；为了更好地使模型适应于网络异构数据分布随时间的动态变化，本项目研究了语义相关性模型的在线动态更新；为了验证研究方案，项目组还构建相关的测试平台，用来测试、评估和改进研究方法和结果。. 项目组围绕网络异构数据的特征表达、关联建模等研究点主要取得了如下工作结果：提出了文本特征表达及知识提取方法、基于深度学习的图像表示方法以及音频的特征分析，研究了文本模态中的社会属性包括社区检测、信息传播规律等；提出了基于互信息的相似性度量方法、3种跨模态关联模型、异构语义基元的挖掘方法，以及在模型更新方面进行了研究构建了跨媒体检索分析研究平台；针对以上研究方案和结果进行测试与分析。项目组发表论文13篇，申请专利4项，培养博士后、博硕研究生共10名，参与国际交流5次。. 项目组深入研究了语义相关性分析中的创新性研究问题与方法，构建了网络图像与文本两类异构数据的语义相关性建模的相关理论与方法，为跨媒体检索、网络图像标注及多媒体社会网络等问题奠定关键理论基础和技术支撑，为网络媒体高效利用与智能服务、数字内容生成与服务产业等国家重大需求提供重要技术支撑。