基于层次化情感本体和深度学习的社交媒体视觉内容情感分析

The rise of visual social media allows the research object of sentiment analysis extended from text to visual content. Deep learning, which has better feature representation capability, is applied to visual sentiment analysis and achieves good results. However, the semantic gap and the unreliability of sentiment labels limit the ability of deep models which create direct mappings between pixels and sentiment orientation. For this reason, this project uses a hierarchical sentiment ontology which can describe visual content from both global and local perspectives to bridge the semantic gap. Having detected the presence of sentiment ontology concepts in visual content using deep learning methods, the visual sentiment orientation is predicted considering the sentiment information of ontology concepts and the relationship between them. Aiming at the massive still images, GIF images and video sequences in social media, the construction of hierarchical visual sentiment ontology will be first studied to normatively describe visual content. Deep learning-based ontology concept detection for visual content will be studied to establish a reliable mapping from visual content to sentiment ontology. Under the condition that the sentiment labels are unreliable, visual sentiment analysis methods based on the presence of ontology concepts will be finally studied to reasonably predict the sentiment orientation of visual content. The project can not only provide support for social multimedia sentiment analysis, but also provide a reference for other research on deep learning-based semantic analysis of visual content.

视觉化社交媒体的兴盛使情感分析的研究对象从文本扩展到视觉内容，深度学习依靠其高效的特征表达能力被应用于视觉情感分析并取得良好效果，但是语义鸿沟问题和情感标签的不可靠性导致建立像素和情感倾向间直接映射关系的深度模型性能受限。为此，本项目以能从全局和局部两个角度描述视觉内容的层次化情感本体填补语义鸿沟，在采用深度学习方法检测视觉内容中本体概念响应的基础上，结合本体概念的情感含义以及概念间的关系进行情感倾向预测。项目将以社交媒体中海量静态图像、动态图像和视频序列为对象，研究层次化视觉情感本体建模，实现对视觉内容的规范描述；研究基于深度学习针对视觉内容的本体概念检测方法，实现从视觉内容向情感本体的可靠映射；研究在情感标签不可靠的情况下基于本体概念响应的视觉情感分析方法，实现对视觉内容情感倾向的合理预测。本项目不仅能为社交多媒体情感分析提供支持，还能为其它基于深度学习的视觉内容语义分析研究带来借鉴。

伴随着社交媒体的兴盛和具有摄像功能的移动终端的普及，视觉内容成为用户进行自我表达的新兴媒介，情感分析的研究对象扩展到了视觉内容。为了解决语义鸿沟和情感标签不可靠问题，本项目基于情感本体和深度学习开展社交媒体视觉内容情感分析研究，充分利用情感本体信息，而且从全局和局部两个角度描述视觉内容。在项目执行期间，共发表了学术论文7篇，其中SCI收录的期刊论文6篇，EI收录的会议论文1篇；出版学术专著1部；申请国内发明专利3项；申请软件著作权1项并获得授权；培养研究生3人。通过项目的执行，获得了如下进展：（1）基于视觉情感本体和概念检测器SentiBank以文本情感信息为辅助进行图像情感倾向辨识，在基于中间本体描述的社交媒体图像情感分析中对本体概念词汇的情感信息加以利用，进一步提高预测性能。（2）借助深度学习模型探测图像中与情感相关的局部区域，从而进行情感倾向预测。为了获得辨识性特征，利用全卷积网络生成热图，并从图像中选择最能代表图像情感的感兴趣区域，然后将感兴趣区域的高层特征和手工设计特征融合在一起来预测视觉情感分布。（3）针对情感标签之间的共现关系，对标签的相关信息进行利用。在分析情感标签之间的相关性的基础上，提出一种基于结构学习框架的方法，实现了从图像到具有相关性的分布标签的映射。本项目在视觉情感分析方面取得新的突破，为社交媒体视觉内容情感分析提供新的方法和技术手段，为面向多媒体数据的多模态情感分析提供支持。