社交媒体多模态品牌追踪与事件检测

As a new information sharing plateform, social media, especially microblogs has got explosive growth in recent years and has become an important carrier for public opinions. How to effectively mine users' opinions and attitudes towards their products from such massive microblogs data is becoming an urgent and challenging issue for companies and manufacturers. Current research on this problem usually focuses on the use of text information for brand tracking and analysis, while neglecting the visual information contained in microblogs, which makes the coverage and precision of the obtained knowledge is not satisfactory.In this project,we propose a multi-modality framework for brand tracking and event detection in social media and address this issue by exploiting the techniques of image matching,clustering and multi-modality fusion. More specifically, we first introduce a multi-faceted microblogs data gathering strategy to collect high-coverage and diverse data by integarting textual and visual retrieval. Then we filter out the unrelated microblogs with a proposed efficient and effective logo detection algorithm.To detect the brand events of interests from the multi-modal microblog data, we propose to use a hyper-graph approach to clustering the textual and visual data jointly to sufficiently utilize the underlying correlations between the two kinds of data.We also develop a multi-modal summarization method for the mined events.For hot event alarming, we will first thouroughly investigate the various features of hot event and then use them to study semi-supervised alarming algorithms. Our research will surely make an important advance in social media monitoring and will display an important role in business decision-making and network information dissemination environment monitoring.

社交媒体特别是微博作为用户信息共享平台近年来得到了空前发展，成为网络舆情的重要载体。如何高效地从海量微博数据中获取用户对产品的观点和态度成为企业的迫切需求和面临的挑战性问题。现有研究大都集中于使用单模态即文本对品牌进行跟踪分析，而忽视了微博中内含的图像模态信息，因而获取信息的覆盖性和准确性有待提高。本课题致力于研究基于多模态的品牌追踪和事件检测技术，从图像检索、聚类及多模态融合角度对其中的关键问题和技术展开研究。具体内容包括：结合文本和图像检索的多源多模态微博信息采集及重排序技术；用于微博滤噪的高效准确的商标检测方法；基于文本和图像联合谱聚类进行品牌感兴趣事件检测，并对事件进行多模态呈现；深入分析并构建微博热点事件特征模型，进而研究有效的热点事件预警方法。本课题将有力推动微博等社交媒体舆情监控的理论发展和应用，为企业决策和网络传播环境监管提供核心算法和技术。

社交媒体特别是微博作为用户信息共享平台近年来得到了空前发展，成为网络舆情的重要载体。如何高效地对海量多模态微博数据进行分析、挖掘以获取用户对品牌的态度成为企业的迫切需求和面临的挑战性问题。本课题针对社交媒体品牌数据挖掘的关键问题进行了较深入的研究，取得了一系列创新性研究成果。包括：综合利用演变关键词、关键用户、相似图像检索以及位置信息的微博数据采集方法，半监督的结合文本和图像信息的多模态的微博重排序方法，用于微博数据滤噪的具有高区分性和社交感知的多视角嵌入方法，基于深度学习的商品商标多尺度检测方法，一种紧凑的面向图像检索的对象级深度特征聚合方法，基于深度神经网络的融合博文文本和图片信息的微博语义位置预测方法，尺度自适应的端到端的文本检测方法，基于显著性检测的非监督商品对象检索方法，以及基于产品评论层次化属性结构的品牌排序等。此外，课题组联合新加坡国立大学Chua Tat-Seng课题组，共同构建了一个大规模的品牌数据集，供研究者对微博检索、事件检测等算法进行验证和性能评价；该数据集共包含了100个流行品牌的3,000,000个微博数据（其中约1,300,000个微博包含了图片数据），覆盖了汽车、运动服饰、电子产品、化妆品和食品等各个行业。同时，课题组开发了一个基于图的大规模微博数据可视化原型系统，可通过数据聚类、相似微博检索等功能实现对微博数据的多粒度观测和事件分析，帮助用户对数据有更加深刻的认识。以上成果发表论文29篇，其中期刊论文11篇，会议论文18篇。项目成果有力推动了社交媒体多模态数据挖掘的理论和技术研究，并为海量微博数据检索提供了一些可行的技术方案，对相关应用系统具有借鉴意义。