融合上下文和用户属性的社交多媒体情感分析及传播模式研究

The study of sentiment and information diffusion pattern analysis on social multimedia plays a crucial role in social stability, product marketing, crisis management and information acquisition. In this project, the key idea is to utilize context information, user property data and network topology in the threefold analysis of social multimedia: methods for extracting sentiment features, sentiment dissemination patterns, and sentiment prediction of hot issues. By using cross-domain datasets, we will investigate the analyzed methods of text sentiment by employing semi-supervised learning methods, such as Naive Bayesian and SVM (Support Vector Machine); explore the extraction approaches of video sentiment by applying the V-A (Valence-Arousal) model; research the sentiment dissemination patterns of social multimedia on social networks by taking machine learning methods and dynamical complex network models; probe into the sentiment prediction models of the dissemination tendency of hot issues on social networks by coupling the characteristics of hot issues, the participation probability of users and the sentiment dissemination patterns. This project will focus on two scientific challenges, which could provide the basic theories and the core algorithms for the relevant innovative applications: the first one is to explore the mapping mechanism between the multimedia’s physical features/context and high-level semantic information; and another one is to investigate the latent relation between social multimedia sentiment and the dissemination patterns.

社交多媒体情感分析及其传播研究将在社会维稳、产品营销、危机公关与信息精准获取等应用中发挥重要作用。融合社交多媒体上下文、用户属性和网络结构特征，研究社交多媒体情感提取方法、传播模式及热点事件情感的传播预测是本项目基本研究思路。基于多领域融合数据，采用半监督学习的朴素贝叶斯和支持向量机模型研究社交多媒体文本情感分析；提取社交多媒体中能影响视听觉情感的视频低层特征，建立V-A（Valence-Arousal）模型提取视频情感信息；采用机器学习方法与复杂网络动力学方法研究社交多媒体及其情感在社交网络上的传播模式；融合社交网络热点事件自身特征、社交用户对事件的参与概率和情感传播模式，实现社交网络热点事件的情感预测。将重点探索解决社交多媒体的上下文信息、低层物理特征与高层情感语义的映射机理，以及社交多媒体情感与其传播模式之间的内在联系这两个具有挑战性的科学问题，为相关应用提供新的理论基础和核心算法。

社交多媒体情感分析及其传播研究在社会维稳、产品营销、危机公关与信息精准获取等应用中发挥了重要作用。本项目融合社交多媒体上下文、用户属性和网络结构特征，研究社交多媒体情感提取方法、传播模式及热点事件情感的传播预测。.本项目取得的主要研究结果如下：.1）提出一系列社交多媒体文本/视频情感分析方法。对于社交多媒体方面，我们针对稀疏数据环境下的弱鲁棒性问题，提出一种高效的基于商品推荐算法“FUIR”。针对短文本问题，我们设计了一种新型短文本摘要生成模型和社交网络上的短文本观点生成模型。实验结果证明了这些模型均超过当前最新算法。针对媒体情感分析，我们也取得了一系列突破。例如，针对弹幕文本中情感信息的问题，我们提出一种融合弹幕文本信息的视频情感分析方法。该方法可有效降低视频情感分析错误率。针对视频情感分中视频包含帧间序列信息的问题，我们提出了基于ConvLSTM深度学习网络的视频情感分析方法，该方法相较于传统人工特征方法加SVM分类器或者SVR回归器的方法可取得更好的情感分析结果。.2）在上述情感分析方法的基础上，我们提出一系列社交多媒体情感传播模式研究方法。例如，针对情感分类器跨领域使用性能差的问题，我们提出一种名为“SentiRelated”的跨领域文本情感分析算法。针对文本信息与情感扩散模式间的相互关系，我们首次利用情绪传播模式来帮助改善情绪分析的工作。在多个数据集上展现了良好的性能。.3）我们利用社交网络的情感分析和传播模式的研究，在多个应用领域中提升原有系统的性能。例如，针对网络舆情易被恶意引导致恶劣影响的问题，我们提出了一种融合文本情感与用户兴趣点的舆情信息推荐方法，该方法在真实舆情监控数据下的推荐满意率高于现有最优方法。针对用户筛选商品耗时长的问题，我们提出了一种融合情感信息的基于深度学习的推荐模型，其性能明显优于当前最好的方法。此外，针对社交网络沉默用户意见难以获取的问题，我们提出了在线社交网络中推断沉默的用户的意见的有效方法，该方法对于沉默用户意见推断的精度高于80%。针对视频情感内容分析中的声学和视听特征，我们提出一种低复杂度迭代方法和新型视频情感可视化播放器，实验结果表明该方法性能优于现有的方法。.在本课题经费资助下，共发表学术论文64篇，其中SCIE检索38篇，EI检索26篇(CCF-A类9篇)；申请专利10项；培养了10名研究生，完成了预期的研究目。