海量网络视频中的复杂事件检测技术研究

This project will focus on an emerging problem in the area of large-scale Internet video analysis. A set of algorithms will be devised for detecting complex Internet video events, including automatic training set collection, multimodality video feature representation, and context-based event learning algorithms. In training set collection, we plan to design a method that uses multiple textual similarity measurements to evaluate the relevancy between an evant and a candidate video. This will be used to filter the noisy web search results and generate a clean set of training samples. In multimodality feature representation, we will use graph-based clustering methods to produce audio-visual joint codebooks, which, compared with using the two modalities separately, can explore deep correlations between them and therefore may be more effective for video event detection. Finally, for the context-based event learning, we plan to model event-concept relationships using a directed graph. Here the concepts refer to lower-level semantic entities such as basic objects and scenes, which are useful cues for event detection in videos. The event-concept relationships will be used in a graph-based formulation that refines initial event detection results, using a formulation that is efficient to solve. The research outcomes of this project will form a good theoretical basis for the topic of video event detection, and will be very beneficial to a large number of important applications such as Internet video retrieval and content management. The proposed methods will also be evaluated in leading video content analysis benchmarks such as the U.S. NIST TRECVID evaluation.

本项目针对当前海量网络视频内容分析这一重大需求，提出一套完整的视频事件检测技术，包括视频事件训练数据的自动采集、多模态视频特征表示和基于上下文分析的事件学习算法。在训练数据采集方面，拟提出一种基于多重文本相似度的度量方法，对网络关键词检索结果进行过滤，进而得到高精度的事件标注；在多模态视频特征表示方面，采用图聚类方式生成视音频联合词袋，深入探索模态间的关联关系；此外，本项目将设计事件检测的上下文分析算法，利用基本概念（如目标、场景）的检测结果提高复杂事件的检测精度。该算法采用有向图来对事件-概念关系建模，以充分发掘事件-概念间的因果及共生关系。本项目的研究成果将为网络视频内容分析奠定一定的理论基础，并为网络视频检索、内容监管等一系列重要应用提供系统化解决思路。研究的成果也将通过国际权威视频分析评测活动检验其性能（如美国国家标准局的视频检索评测TRECVID）。

通过三年的工作，课题组已按计划完成本项目的研究。针对当前海量网络视频内容分析这一关键问题，课题组设计并实现了一套完整的视频事件检测技术，包括建立视频事件类别数据集、多模态视频特征表示和基于上下文分析的事件学习算法。首先，我们建立了一个含有91223个视频共239类的视频事件类别数据集；其次，我们提出一种正则化的深度神经网络以充分利用特征之间的关系，逐步设计并实现了视听双模态特征表示、视觉与动作双模态特征表示以及视频多模态特征的时序表示；与此同时，我们通过使用跨类别的共性模式进行正则化，成功地把上下文关系融入到表示多模态特征的神经网络中。我们所提出的正则化的深度网路在GPU上实现，并在简单的动作识别及复杂的事件识别等数据集上做了大量的测试。通过大量的实验，我们证明所提出的算法优于其他较新的方法。. 另外，为了测试本项目提出的算法是否能快速高效地完成视频复杂事件检测任务，我们参加了MediaEval的暴力事件检测比赛，连续在2013-2015年得到了第一名的成绩，以及2014年IEEE ICME大会上华为举办的手机视频快速标注大赛，得到了“最佳精度奖”。