基于深度学习框架的多媒体大数据表示学习

Mankind has entered the era of big data. As the main carrier of big data and the fundamental application objects, multimedia exhibits typical characteristics of big data, such as high-speed growth, structural complexity, noise,and dense relationship. Representation learning is an important means of analyzing multimedia data under big data environments. The recent popular deep learning has provided a unified framework for solving representation learning for multimedia big data. In this project, we propose to investigate into a deep learning-based multimedia big data representation learning solution. Topics include: ( 1 ) Efficient and unified high-dimensional data indexing technology and access mechanisms; ( 2 ) Robust multimedia feature learning and semantic representation extraction algorithm; ( 3 ) Multi-modal unified representation learning and feature union theory; ( 4 ) Context-aware big data collective representation learning . The results are expected to build the basic theory and key technical support for multimedia big data analysis, with applications in personalized multimedia search , big data analysis of e-commerce and public security analysis, etc.

人类已经进入大数据时代，多媒体是互联网大数据的主要载体和重要应用对象。多媒体表现出大数据的典型特征，如高速增长、结构复杂、噪声大、关系多等。面对这些特点，表示学习是大数据环境下多媒体分析应用的重要手段，近年来兴起的深度学习为多媒体大数据的表示学习提供了统一解决框架。项目提出研究基于深度学习框架的多媒体大数据表示学习。具体内容包括：（1）高效、统一的海量高维数据索引技术和存取机制；（2）鲁棒的多媒体大数据特征学习和语义表示提取算法；（3）多模态统一表示学习和特征融合理论；（4）融合上下文关系的大数据协同表示方法。研究结果有望为多媒体大数据分析和应用提供基础理论和关键技术支持，将对个性化多媒体搜索推荐、大数据电子商务和社会公共安全分析预警等在内的众多应用领域发挥重要的作用。

项目提出研究基于深度学习框架的多媒体大数据表示学习。具体内容包括：（1）高效、统一的海量高维数据索引技术和存取机制；（2）鲁棒的多媒体大数据特征学习和语义表示提取算法；（3）多模态统一表示学习和特征融合理论；（4）融合上下文关系的大数据协同表示方法。研究结果有望为多媒体大数据分析和应用提供基础理论和关键技术支持，将对个性化多媒体搜索推荐、大数据电子商务和社会公共安全分析预警等在内的众多应用领域发挥重要的作用。项目严格按照计划执行，较好地完成了项目计划，具体包括：（1）提出了基于深度学习的图片语义相对属性学习方法；（2）提出了基于嵌入式卷积神经网络的视频语义特征学习方法；（3）提出了基于半监督神经网络的层级语义特征学习方法。结题时项目发表IEEE Trans.论文两篇，申请国家专利2项，项目组成员获得ACM中国新星奖、中科院优秀博士论文等。