面向网络短视频的暴力内容识别与语义描述

With the quick development of computer technology and network communication technology, short video online sharing develops rapidly. It provides condition for the transmission of sensitive videos, including violent videos, which will affect the healthy growth of youth and even the stability of society. In order to identify the violent videos and avoid their increasing flooding in the internet, this study tries to search for the hierarchical features and fusion them reasonably through deep-learning. The research contents include: (1)violent image recognition via anisotropic network; (2) violence video recognition via two-stream network; (3) semantic description through hierarchical feature fusion under attention mechanism; (4) model compression via kernel sparse optimization. The main idea is: the deeper, hierarchical and discriminating features from the violent images and video are extracted firstly, then are fused effectively to realize the violent recognition and semantic description, so as to build a hierarchical, three-dimensional and efficient recognition system of violent short video online. The project is not only a research and application of image and video processing, but also plays an important role in maintaining the security of network content and environment, even promotes social harmony and stability. It has great research value and social significance. As far as the development of video online, the research also has a broad application prospect.

随着计算机技术和网络通信技术的飞速发展，网络视频分享迅速，为包含暴力短视频在内的敏感视频的传播提供了便利，将对青少年的健康成长乃至社会的安定产生极其不利的影响。本项目旨在应用深度学习这一流行技术，实现对网络短视频的多层次内容剖析，进而对互联网中日益泛滥的暴力短视频进行语义描述与识别过滤。研究内容包括：(1) 基于各向异性卷积网络的暴力图像识别；(2) 基于双流组合网络的暴力视频识别；(3) 基于注意力机制层次化特征融合的暴力短视频语义描述；(4) 基于核稀疏优化的集成算法模型压缩。该项目拟构建一个多层次立体化且高效的互联网暴力短视频识别与语义描述体系，这不仅是一个热门研究方向，还对维护网络环境与社会和谐稳定起到积极作用，因此具有重要的社会意义与研究价值。在网络短视频应用迅猛发展的当下，该项研究也具有广泛的应用前景。

计算机技术和网络通信技术的飞速发展在给人们带来许多便利与乐趣的同时，也给包含暴力视频在内的很多不良因素的滋生蔓延提供给了土壤。本项目主要面向网络中日益增多的暴力短视频数据，从算法和数据两个层面进行了属性挖掘和研究学习。.在算法层面，主要从图像帧和视频两个模态进行特征与属性的挖掘以及暴力判定。.1）对于图像帧的识别，提出了基于各向异性卷积网络的暴力图像识别进行特殊物体和特殊场景的识别。在收集的图像测试集violent-P上测试，其中暴力图像识别率达到95.2%，召回率为87.6%；.2）对于视频的识别，首先采用基于深度特征视频拷贝检测方法对常见暴力短视频进行识别。对于不常见视频，提出基于双流组合网络的暴力视频识别方法检测视频中的敏感行为与事件，最后将特殊物体、特殊场景以及特殊事件的特征信息融合，对视频进行综合暴力判别。在整理的暴力视频数据集Violent-V上，暴力短视频识别率达到90.87%，召回率为82.32%，检测速度达到1:50（即1s可处理50s的视频）；.3）本项目提出了基于视频文本对齐的暴力短视频语义描述算法和一种专用于视频描述的新颖的无参考评价指标 EMScore（Embedding Matching-based score），对含有暴力内容的短视频进行语义描述，以实现对视频高层语义概括的目的。最终，采用基于核稀疏优化的集成算法模型压缩算法对整个算法框架进行模型压缩与优化。.在数据方面，本项目提出了基于拉普拉斯金字塔结构的图像渐进式压缩与重建模型、基于有限样本的半监督色彩估计方法以及基于上下文编码-解码网络的图像修复算法对收集的数据进行压缩、修复以及扩充等数据处理，最终构建了Violent-V视频集和Violent-P图像集两大暴力数据集：.1）Violent-V：其中包含600个暴力视频片段和600个非暴力视频片段；.2）Violent-P：由Violent-V数据集中的视频截取图像帧，并结合网络收集到的暴力、近似暴力图像得到。其中包含6万个暴力图像和6万个非暴力图像。