基于多源信息融合和网络社群行为建模的跨媒体分析技术研究

With the advent of Web cross media application and the comprehensive influence from Web content to the Web users, this project starts from how to effectively deal with the multi-source characteristic and social attributes, explores the theories and methodologies for cross media analysis and retrieval, and reveals the intrinsic information propagation mechanism and relations among massive data. It mainly contains the following four parts: (1) To deal with the intrinsic nature of cross-platform, multi-modalities and diversified source, we study effective methods for cross media data association from aspects of content, structure and semantics; (2) To deal with the extremely many categories, content diversity and imbalanced distribution, we study hierarchical classification model, cross-domain visual retrieval method and large scale data clustering method, in order to build effective analyzing models for cross media data and construct organization on the data corpus based on different disciplines. (3)we study how to extract the description of the users from Web user groups(society), and build the correlation model between the uer groups and cross media content subset; (4) Based on the inclination and behavior pattern of the users from Web groups, we study personalized retrieval and data visualization for the cross media data.

本项目以网络跨媒体应用的迅速兴起和网络内容对网络用户的深刻影响为研究背景，以有效应对网络跨媒体数据的多源属性和社会属性为切入点，探索有效的跨媒体分析与检索理论和方法，揭示海量跨媒体的内在信息传播结构和数据关联特性。拟从以下方面展开工作：1）针对网络跨媒体数据跨平台，多模态和来源广泛等特点，研究有效的跨媒体数据内容关联，结构关联和语义关联方法；2）针对海量跨媒体数据的极多类，内容多样性和数据分布不均衡等特性，研究层次化语义学习方法，跨域视觉检索方法和海量聚类方法，对跨媒体数据进行有效的分析和和对数据进行基于不同准则的组织；(3)对网络社群用户信息进行提取和建模，建立用户群组对跨媒体内容的相关模型；（4）基于网络社群用户行为模式和偏好性信息，研究针对网络跨媒体内容的个性化检索和数据呈现方法。

本项目针对跨媒体数据呈现的海量性、多态性、多源性和社会性特点，对跨媒体数据的多源多模态信息进行语义分析和关联建模，对网络社群行为进行分析，建立内容与社群的相关关系，实现跨媒体内容的个性化定制和推荐系统。在多源信息融合的基本研究思路指导下，本项目对跨媒体的多源多模态异构信息融合分析方法进行了深入研究。在跨媒体表达学习方面，解决了极多类数据的字典视觉学习和层次化分类模型学习问题，构建了面向分类和聚类任务的多视角表示学习框架，实现了面向多标签分类的特征表示和判别模型的协同学习，在跨媒体分类问题上的精度和效率都有非常明显的性能优势。在跨媒体关联协同方面，提出了局部映射集成、相似度高斯过程隐变量学习、关联矩阵协同补全等非线性方法，构建了跨模态层次化语义的局部适应表示学习机制，形成了非线性非参数跨模态结构一致性学习框架，实现了复杂异质媒体对象的关联协同挖掘和预测，更好地满足现实世界当中的跨模态检索任务需要。在跨媒体知识发现方面，提出基于密集子图的跨媒体话题和事件检测方法、基于内容和用户行为协同的跨媒体话题分析方法、基于跨平台结构一致匹配的社交网络用户账号链接方法、基于多模态扩散过程的用户社群检测模型等机制，建立了高效跨媒体知识发现方法体系。在真实的社交网络和网络跨媒体主题数据上的大规模实验表明了所提方法和机制的有效性、精确性、高效性和可扩展性。.在应用方面，本项目实现了面向网络的跨媒体内容分析和检索验证系统原型系统，包括跨模态检索系统TINA、跨平台用户身份链接系统HYDRA等，对本项目的技术方法进行验证和测试，获得了良好的应用效果。共发表(录用)论文24篇，其中CCF A类论文6篇，B类论文9篇，申请专利3项，全面实现了预定研究目标，构建了基于多源信息融合和网络社群行为建模的跨媒体分析方法体系，在跨媒体内容分析之外，开辟了一条跨媒体语义理解、关联挖掘和知识发现的新的可行之道。