跨媒体语义映射与智能检索关键技术研究

Human cognition of the objective world is a comprehensive understanding formed by different sensory information. Therefore, the semantic understanding of multimedia is also urgently required to have the "cross-media" characteristics. Using the information processing method of human perception for reference, starting from the machine learning theory, the project studies the cross-media semantic mapping model and retrieval mechanism. In addition, a prototype system is developed for theory verification and performance analysis. The main research contents and objectives are as follows. Firstly, we study the new algorithms of multimedia feature extraction, fusion and learning. Secondly, based on available machine learning algorithms, we study new approaches to construct the cross-media semantic mapping model. Thirdly, we study multi-level and multi-granularity semantic description model, which can effectively represent heterogeneous cross-media information in the unified form. Finally, we study relevance feedback technology of semantic level to achieve cross-media intelligent retrieval. Innovation of the project is reflected in several aspects. First, feature learning is implemented by deep neural network. Second, semantic mapping model is constructed by combining a variety of learning technology. Third, cross-media retrieval is achieved on the basis of multi-level and multi-granularity semantic space. This project is an interdisciplinary research subject, involving multimedia analysis, intelligent science, information retrieval and other fields. Research of the project will accelerate the exploration of visual and auditory cognitive mechanism and promote the technology development of organization, search and analysis of massive heterogeneous Internet information. Thus the project has important scientific significance and application prospect.

人类对客观世界的认知是基于不同感官信息形成的整体性理解，因而多媒体语义理解也迫切需要具备“跨媒体”特性。本项目借鉴人类感知的信息处理方法，从机器学习理论出发，研究跨媒体语义映射模型和检索机制，并研制原型系统进行理论验证和性能分析。主要研究内容和目标包括：研究多媒体低层特征的提取、融合和学习的新算法；以现有机器学习算法为基础，研究构建跨媒体语义映射模型的新方法；研究多层次多粒度语义描述模型，以统一的形式有效表示异构的跨媒体信息；研究语义层面的相关反馈技术，实现跨媒体智能检索。创新性体现在：利用深度神经网络进行特征学习；结合多种学习技术构建语义映射模型；基于多层次多粒度语义空间实现跨媒体检索。本项目是一个多学科交叉的研究课题，涉及多媒体分析、智能科学和信息检索等学科领域。项目的研究将促进视听觉认知机理的探索，推动海量异构互联网信息的组织、查找与分析技术的发展，具备重要的科学意义和应用前景。

本项目借鉴人类感知的信息处理方法，从机器学习理论出发，研究跨媒体语义映射模型和检索机制，并研制原型系统进行理论验证和性能分析。主要研究内容包括：研究多媒体低层特征的提取、融合和表示学习的新算法；研究构建跨媒体语义映射模型的新方法；研究多层次多粒度语义描述模型；研究语义层面的强化学习技术，实现跨媒体智能检索。.依托本项目发表（录用）学术论文65篇，其中SCI收录19篇，EI收录的期刊论文54篇。获发明专利授权2项，受理12项，获软件著作权5项。项目所取得的研究成果主要体现在以下几个方面：(1) 图像自动标注。提出基于协同训练的半监督图像语义标注方法，提出改进CNN模型进行标注并利用对抗网络辅助模型训练，提出结合CNN和集成分类器链的方法，提出基于模糊关联规则和决策树的方法。(2) 图像描述生成。基于集成注意机制与知识推理的思路，提出结合视觉特征和场景语义的方法，提出协同语句级和单词级注意的方法，提出集成内部知识与外部知识的方法。(3) 图像目标检测和语义分割。提出基于关系图网络的目标检测方法，提出融合深度扩张卷积网络和轻量化网络的目标检测方法，提出联合场景级区域自注意模块与边框回归增强模块的目标检测方法，提出协同级联网络和对抗网络的目标检测方法，提出基于半监督对抗学习的语义分割方法。(4) 跨媒体图文检索。提出基于多头注意力网络的无监督跨媒体哈希检索方法，提出融合两级相似度的跨媒体检索方法。(5) 自然语言处理与理解。提出双路注意力引导图卷积网络的关系抽取方法，提出融合上下文信息和关键信息的文本摘要方法。.本项目是一个多学科交叉的研究课题，涉及多媒体分析、智能科学和信息检索等学科领域。项目的研究促进了视听觉认知机理的探索，推动了海量异构信息的组织、查找与分析技术的发展，具备重要的科学意义和应用前景。