面向网络视频直播的敏感信息实时检测技术研究

The investigation of sensitive information detection in real-time for Internet video live broadcast plays a vital role in terms of reducing the spread of harmful information, safeguarding national security and social stability. In our research project, we will study the following major aspects: rapid filters of sensitive live channels by combining the features of bullet screens and user behaviors, real-time analysis of sensitive information by analyzing bullet screens, user behaviors and audio data, deep learning-based analysis of sensitive videos and images in the live streaming, and multi-feature fusion-based detection of sensitive information in the video live streaming. We will find effective features for sensitive information detection by analyzing the sensitive content of bullet screens and audio data, and user behaviors in sensitive live channels. Besides, we will build a multi-feature fusion-based multi-objective hierarchical detection framework to realize the fast detection of sensitive contents by leveraging the user profile of an anchor. This project will focus on two scientific challenges, which could provide the theoretical bases and the core algorithms for the relevant innovative applications: the first one is to research the mechanism of obtaining high-level semantic information from low-level fusion features of the Internet live streaming, and the other one is to study the real-time/near-real-time deep learning framework for sensitive information detection from Internet video live broadcast.

面向网络视频直播的敏感信息实时检测技术研究将为减少网上不良信息传播、维护国家安全和社会稳定提供重要技术支撑。研究融合弹幕和用户观看行为的快速敏感直播频道过滤方法；研究基于弹幕、用户行为和语音联合特征的视频直播敏感信息实时分析技术；研究基于深度学习技术的敏感直播视频/图像实时特征提取技术。通过对网络视频直播平台中弹幕、音视频多媒体数据和打赏互动关系的系统分析，研究多元信息的敏感内容检测特征的有效组合遴选方法。融合弹幕、音视频多媒体数据的低层特征和主播互动行为特征，并结合主播的直播历史画像，研究文本、音视频的底层特征与敏感视频信息之间的映射关系；研究基于多元特征融合的视频直播敏感信息实时检测方法。将重点探索实时/近实时深度学习框架以提高视频直播中敏感信息检测的实时性能，以及融合直播内容低层数据特征获取高层语义的机理和模型，为我国网络视频直播监管提供新的理论基础和核心算法。

面向网络视频直播的敏感信息实时检测技术研究为减少网络不良信息传播、维护国家安全和社会稳定提供重要技术支撑。本项目面向网络视频直播的敏感信息实时检测，通过对视频平台中多媒体数据、用户行为和互动关系等进行分析，研究视频直播敏感信息快速过滤、实时检测、图像分析和计算效率等问题。 .本项目取得主要研究结果如下：.1）提出了一系列面向网络视频直播的敏感信息快速过滤和实时检测方法。例如，针对网络视频弹幕和字幕等敏感信息检测中文字信息量大的问题，项目组提出了一种文本摘要注意力机制，实验结果表明该机制在文本摘要评价中性能优于相关现有方法。针对网络视频直播中敏感信息与正常信息混杂的情况，项目组提出了目标级反向记忆模型，实验结果表明该模型在主流数据集上取得较好改进率。针对用户面对敏感信息会反馈在弹幕文字上的特点，项目组提出了结合文本信息和情绪扩散模式的敏感信息检测方法，该方法对比目前最优算法在情绪分类任务中具有较优性能。.2）在上述网络视频敏感信息检测方法的基础上，提出了一系列敏感信息分析研究方法。例如，针对视频同时具备图像信息和图像序列信息的特点，项目组提出了一种基于ConvLSTM的深度网络，实验证明该方法相较于传统特征分类方法具有更高性能。针对实时弹幕的用户情感分析问题，项目组提出了基于融合弹幕特征的多元信息情感分析回归神经网络，实验结果表明该方法可有效降低视频情感分析错误率。针对网络视频直播敏感信息的实时检测中的文本分类问题，项目组提出了结合多重特征提取的文本图像分类方法，实验证明该方法性能优于目前相关工作。.3）面向网络视频直播的敏感信息的检测和分析研究，提出了一系列性能良好、场景适应能力强的机器学习模型。例如，针对网络视频直播中信息监测的实时性需求，项目组提出了基于分层参数利用率的神经网络剪枝方法，实验证明了该方法在主流数据集上的有效性。针对网络视频直播中交易行为涉及的用户隐私泄露风险，项目组提出了基于差分隐私技术的网络交易过程中保护用户安全隐私的方法，实验结果表明该方法可显著降低消费量与网上银行交易量的相关性，有效保护了用户隐私。.在本项目经费资助下，共发表学术论文62篇，包含27篇SCIE，35篇EI（CCF-A类论文14篇，CCF-B类论文13篇）；申请专利15项；培养了10名研究生，完成了预期的研究内容和技术指标，实现了预期的研究目标和研究成果。