针对弹幕视频的语义标注和自动推荐关键算法研究

Social interactive video, represented by Barrage Video contains plenty of user generated comments and implicit interaction behaviors. Video automatic annotation is essential manners for efficient organization, management and appliance for video object. Traditional technologies cannot well solve the huge gap between low-level feature and high-level semantics, which brings big challenge to video search and video recommendation. The emerging of Barrage Video has brought opportunities to such problems. This project aims to research the semantic information and implicit user interaction behaviors contained in the comments of Barrage Video. We try to propose a probabilistic graphical based dynamic sentiment-topic model to reveal the generative process of user comments. We first set up the total probability formula of sentiment, topic and word, and then sample the visible variables with Gibbs sampling algorithm, after that we can solve the posterior probability of topics and sentiment. Through this processing, we can get automatic video annotation. Meanwhile, this project tries to propose a video recommendation mechanism based on the latent social structure. With user-preference partial order, the latent social structure can be identified, and then a resource matching strategy is designed to achieve video recommendation.

以弹幕为代表的社会化交互视频包含了丰富的用户评论数据和用户隐式交互信息。视频自动标注是对海量视频进行高效组织、管理和应用的必要前提。传统视频自动标注技术不能很好解决底层特征与高层概念之间的语义鸿沟问题，这给视频搜索和视频推荐等应用带来了巨大的挑战。弹幕视频的出现为解决上述问题带来了契机。本课题将从弹幕视频评论中包含的语义信息和用户隐含交互行为上展开研究，尝试提出一种基于概率图模型的动态情感主题模型来解释用户评论的生成过程，建立情感、主题和词汇的全概率公式，并通过对可观测变量进行吉布斯抽样，求解隐含变量-主题和情感的后验分布概率，从而实现视频的自动标注。在此基础上，本课题提出了一种基于隐式社群结构的视频推荐模型，利用用户-主题偏好序发现隐含的社群结构，并通过视频和用户偏好在主题上的资源匹配策略实现基于群组的视频推荐。

弹幕视频的流行与兴起丰富了社会化视频的应用形态，也给视频数据的组织、管理和高效应用带来了更多的机会和挑战。与传统视频应用不同，以弹幕视频为代表的社会化视频中包含了丰富的用户评论数据和用户隐式交互信息，从这些数据中快速而准确地挖掘有用信息实现视频语义标注、细粒度推荐具有重要的现实意义。同时，为了提高视频服务质量和扩展社会化视频应用的领域，研究高效视频传输策略和社会化视频感知机制具有重要的理论价值。本项目主要从以下几个方面展开研究：（1）社会化视频自动标注算法。考虑到视频是由若干具有内在逻辑联系的情节组合而成，课题组设计了基于场景分割的情节检测算法，并基于概率图主题模型解释弹幕评论的生成过程，自动提取情节描述信息作为视频语义标注。（2）社会化视频推荐算法。课题组利用话题模型挖掘用户评论及视频中隐含的主题信息，并实现基于用户-主题偏好序的隐式社群发现，并通过主题匹配策略实现基于群组的推荐。（3）社会化视频传输优化机制。针对视频流量迅猛增长，现有网络传输技术无法提供高质量视频服务体验的现状，项目组提出了视频自适应传输机制、交互式多视角分层流视频传输机制以及分布式内容网络边缘缓存策略。（4）社会化视频感知关键技术研究。视频蕴含了丰富的语义信息，是社会化感知的重要载体。项目组针对社会化感知的典型需求，研究了安全协作机制、社会化视频数据采集及参与者选择方法，并提出了基于视频感知数据的环境监测模型。项目组成员先后在IEEE Network、Computer Communications、Future Generation Computer Systems、IEEE Transactions on Circuits and Systems for Video Technology 等国际知名期刊发表（或录用待发表）论文16篇。本项目的研究将为社会化视频分析领域的深入研究提供技术支持，具有重要的理论价值。