基于深度学习框架的社交媒体信息挖掘

In Internet era, social media pervaded the world of entertainment, education, and business. How to analyze a large amount of information in the massive and multimodal social media data has been a very important research topic. Moreover, the complex relations embedded in?social media are affected by numerous factors. For example, the relationship between users is not only influenced by friendship in the real world, but also the contents of the media released by the users. It is the challenging issue to mining information from social media. Deep learning, which models the learning task using deep architectures composed of multiple layers of parameterized nonlinear modules, provides a promising approach to solve the social media mining problem. Evidences from neuroscience, theoretical analysis from machine learning, and empirical validations from real world applications all indicate that deep model shows distinguished advantages in solving complex problem with large amount of data. In this project, we propose a novel social media mining model based on deep learning framework. As far as we know, it is the first time to utilizing deep techniques for social media problem.?The model focuses on addressing the following issues. First, we fuse the multimodal feature information in social media to learn the unified representation. Second, we predict the relationship between items, including the homogeneous and heterogeneous items in social media. Third, we can analyze dynamic media content as the media changes in the real social media situations. we will test the proposed framework and algorithm on standard datasets for deep learning, and self-developed experimental platform for social media. The findings of this project will make important contributions to both the research of machine learning and multimedia content analysis, and the industry of multimedia search engine and social media.

在互联网时代,社交媒体中隐藏着丰富的娱乐、教育和商业信息。如何从大规模的社交媒体数据中挖掘有用信息已经成为一个重要的研究课题。 然而，社交媒体中媒体的多模态性、对象间复杂的关联性、媒体内容的动态性使得该任务极具挑战性。深度学习,通过多层的非线性结构来处理学习问题。研究表明，深层模型在解决海量数据的复杂问题方面具有独特的优势，它为解决社交媒体问题带来了希望。本项目提出一个基于深度学习框架的社交媒体挖掘模型，这将是首次将深度学习技术用于社交媒体问题。该模型不仅能融合多模态媒体特征从而学习出统一的语义表示，并能预测对象之间的相关性，包括社交媒体中的同质对象和异质对象。同时，该模型还将在真实媒体内容动态变化的情况下，进行动态媒体内容分析。我们将在标准的数据集以及自行开发的社交媒体平台数据集上测试我们提出的框架和算法。该项目的研究将会为机器学习和多媒体内容分析的研究以及社交媒体的产业发展作出贡献。

本项目针对互联网时代丰富而复杂的多媒体数据，研发了一系列有理论基础和应用前景的深度学习技术，从海量动态的社交媒体数据中挖掘出隐藏的有用信息。项目申请书中提出的研究内容顺利开展，并获得了令人满意的成果。第一，基于深度神经网络的多模态特征学习和表示是我们的核心研究内容：我们采用多模态数据的聚集效应，构建了一个统一的社交媒体机器学习框架；利用耗散结构理论对人类的隐性学习机制进行建模。以此为基础，我们根据不同媒体自身特点研发了十余种算法，成功地应用于社交媒体上非完整图像辨识、自动文本摘要、音频情感计算、多媒体数据融合，相关成果在国际期刊和会议上发表文章15篇。 第二，在用户隐性特征学习和表示上，我们研发了新的用户行为建模的算法，挖掘用户的使用特点和偏好，并采用脑波分析的方法提高用户体验预测的准确性。 相关成果在国际期刊和会议上发表文章3篇。第三，在多媒体特征和用户特征关联性研究上，我们提出了三个新的算法，构建了视频特征、音频特征以及多模态特征与用户体验之间的多层次关系的建模，相关成果在国际期刊和会议上发表文章3篇。第四，在动态媒体内容分析上，我们进行了时空数据的动态显著性研究，并把用户的注意力关联性运用到社交媒体的推广上。相关成果在国际期刊上发表文章2篇。在原定的研究内容以外，我们还将深度学习的研究成果应用于社交媒体与计算机安全的交叉问题研究。 我们利用社交媒体上的海量数据加强数据隐藏能力，研发了新的深度学习算法去提高数据隐藏的侦测能力。相关成果在国际会议上发表文章2篇。 ..该项目还为人才培养和发展提供了良好的环境，其中四位最初的参与成员已经取得了博士学位。这个项目的开展对中国在多媒体，人工智能，和脑科学跨领域研究有着重要科学意义。 本项目还孕育了香港第一个认知计算实验室，也成为中国国家自然科学基金的一个成果展示平台。