异构媒体数据建模、融合及识别关键技术

Multimedia data has become the main form of web information representation, and research on the theories and technologies of cross-media retrieval and recognition on heterogeneous multimedia data has important theoretical values and broad application prospects. Based on the semantic correlations among heterogeneous meida data and semantic propagation among neighbours, the project constructs semantic bridges among heterogeneous media data sets, and proposes a similarity measure for evaluating the similarity among heterogeneous media data. Considering the characteristics of the media data, the project also combines the semantic similarity measure of heterogeneous media data with the local canonical correlation analysis and multi-view learning techniques to optimize the data features, and achieve a unified representation model for heterogeneous media data after semantic smoothing the optimized features. Based on the above research, the project takes into account the neibourhood, local embedding, semantic correlations and retrieval instancs together, and proposes a media data ranking optimization algorithm for cross-media data retrieval and recognition, so as to provide theoretical and technical support for seamless cross-media data recognition.

多媒体数据已成为网络信息的主要形式，研究异构媒体数据交叉检索和识别理论与技术，具有重要理论价值及广阔应用前景。本课题通过异构媒体数据间的语义关联建立异构媒体数据集合语义桥，实现语义在同构媒体数据近邻方向上的传播和异构媒体相似度量；同时根据媒体数据特点，应用局部典型相关性分析及多视图学习技术等，优化特征选择，并在语义层面上通过异构媒体相似度量对优化特征进行语义平滑，构建异构媒体的统一表达模型；在此基础上，结合近邻相似、数据局部嵌入、语义关联及检索实例等，提出媒体数据排序优化算法，实现异构媒体基于排序的交叉检索与识别，为异构媒体的无缝交叉识别提供理论与技术支撑。

多媒体数据建模及检索技术得到相关研究者的广泛关注，各类媒体处理技术的出现，使得人们对异构数据语义关系发现及检索产生了极大兴趣。本课题针对异构媒体特征及语义关系建模、异构数据样本训练、媒体数据特征提取及数据分类问题，深入研究了异构媒体建模、特征提取及检索技术，提出利用半监督数据相关性跨媒体检索方案及基于图的多媒体数据相关性建模方案，并结合自标记技术，对异构数据进行处理。基于异构数据内类判定性对每类媒体数据进行有效分类，利用稀疏系数判定性解决小样本问题，提出一种基于谱聚类的新型集成分类器。基于异构数据的虚拟样本解决训练数据及测试数据分布问题，基于特定样本点及群集的文本图像关联实现检索。数据特征与语义关联方面。分析多种多媒体数据特征及语义之间的关联性，选择相关特征,并根据不同检索任务的侧重点，同时利用图模型将多媒体数据语义模型与多媒体数据对模型结合，提升多媒体数据的检索效果，取得了较好效果。通过研究同构媒体数据分类与聚类技术，提出基于稀疏系数的数据高效图像分类方法，并利用集成学习方法，提升单一分类器分类精度。在保持数据分布的情况下，对少数样例进行过采样，学习一种无偏分类器，结果表明，本方法有效提升了检索精度。结合媒体数据概念特征与降维特征，利用特征与语义间的对应关系，将特征空间投影到语义空间，并结合加权图模型及模间模内关系模型，提出了改进后数据相关性异构媒体检索算法。