网络视频中的情感识别算法研究

Emotion recognition in Internet videos aims at identifying the emotions (e.g., happiness, anger, etc.) delivered in the videos automatically using a computer algorithm. Related techniques can be deployed in applications like public sentiment analysis, intelligent video retrieval and recommendation, etc. Based on the practical needs in video emotion analysis and the cutting-edge techniques in the area of video content recognition, in this project, we will conduct research in the following aspects: (1) building a large-scale, hierarchy video emotion dataset; (2) transfer learning for exploring knowledge from related resources; (3) multi-modal feature extraction and fusion; (4) temporal relation modeling in videos. Among these, dataset construction serves as the basis for algorithm research, transfer learning can help utilize existing knowledge like image emotion annotations, multi-modal fusion is critical for ensuring a good recognition performance, and temporal modeling can explore the intrinsic semantic causality in videos. Technically, we largely rely on the popular deep learning approaches, and design novel neural network architectures and learning algorithms to address the above aspects for the particular problem of video emotion recognition. Research outcomes will be published in leading international journals and conferences. A demo system will also be developed to verify the results visually.

网络视频中的情感识别是指利用计算机算法自动发现视频传递的情感，如“喜悦”、“生气”等。相关技术可以应用于政府民意调查、智能视频检索与推荐等实际问题。本项目在视频内容识别前沿技术基础上，针对情感识别的特定需求，拟开展以下几个方面的研究：（1）大规模、层次化网络视频情感数据集构建；（2）情感知识的迁移学习；（3）多模态视频特征的提取与融合；（4）视频时序关系建模。其中，数据集的构建是算法研究的基础，迁移学习技术可以充分利用已有的其他领域的信息（如图像情感标注等），多模态特征融合是保证识别精度的关键手段，而时序关系建模可以帮助挖掘并利用视频内的语义逻辑关系。在技术路线设计上，本项目采用近年来流行的深度学习方法，并针对以上几个研究内容设计新的神经网络结构和学习算法。成果将发表在国际一流期刊、会议中，并通过开发应用演示系统进行可视化验证与展示。

视频情感识别是指利用计算机算法自动判断视频中传达的情感，如“喜悦”、 “生气”、“愤怒”、“恐慌”、“悲伤”等。对网络视频大数据进行自动情感识别，可以帮助政 府及时掌握网络舆情、了解民情民意;也可帮助视频服务商开发高效的视频管理系统，创造巨大的商业价值;此外，视频情感识别对于教育、艺术创作、广告设计、人机交互等领域都有着重要意义。 .针对视频情感识别，本课题的主要研究内容包括：1）视频情感识别数据集的构建：本项目构建了一个视频情感识别数据集。该视频数据集从网络上爬取，采用Paul Ekman定义的6种基本情绪类别进行标记。该数据集总共包含1,673个视频，为后续研究提供了良好的数据基础。2）情感知识的迁移学习：项目组提出的异构知识迁移学习方法利用丰富的图像以及本文标注数据，将图像以及文本数据集的知识迁移到标注数据量较小的视频中来，有效地解决了视频情感识别中的少样本、零样本问题。 3）多模态特征提取与融合：项目组探索了多模态特征的提取与融合，挖掘了不同模态之间的互补关系，针对性地提出了基于物体和场景语义、基于高层上下文信息和基于混合深度学习框架的多模态特征融合方法，有效地提高了视频情感识别的准确率。4）时序关系建模：针对如何有效利用视频中的时序信息建模等问题，项目组提出了基于时空关系的视频文本描述生成技术、基于时空关系的活动定位技术、基于时序关系的小样本动作识别技术等方法。这些方法有效地利用了视频帧与帧之间的时序信息建模，广泛适用于各种复杂的应用场景。..本的研究产生了多篇高水平论文和专利，对视频情感识别的相关理论研究和技术研发起到一定的推动作用。