视觉媒体篡改的取证和关联分析关键技术研究

With the increasingly development of computer science, the phenomenon about multimedia tampering and semantic misunderstanding is emerging and attracting. The project studies on new theories and methods of visual media tampering forensics in terms of learning-based feature, sparse representation, and deep learning etc. Main research contents include: (1) Pervasive forensic feature generation and optimization based on data-driven learning methods. The project will explore the data-driven learning methods to generate the forensic-oriented feature descriptor, which can identify multiple tampering operations. The feature selection and optimization problem will also be studies to choose the effective forensics feature automatically. (2) Forensics on multimedia processing operations based on sparse representation and high order co-occurrence matrix. The project will study on forensics methods to distinguish the operations types, parameters, and history. The ability of signal separation and denoising facilitates sparse representation to separate the changes brought by operations. The difference matrix can be enhanced for different kinds of operations. High order co-occurrence matrix is combined to analyze the signal correlationship, and further reveals the operation traces and history. (3) Tampering localization and association analysis. The project will study pixel-level end-to-end forensics localization technology and corresponding optimization methods. The source and attribute of the similar regions are further studied. The association between the tampering contents is also studied and analyzed to pursue the tampering rules and deduce the tampering intentions. The project is a creative and valuable research work.

面对日益突出的多媒体内容篡改和语义误导现象，本课题利用特征学习、稀疏表示、深度学习等先进工具，研究视觉媒体篡改取证的新理论和新方法，让人类真正看懂图像。关键技术包括：(1)基于学习的普适取证特征及特征选择。研究基于学习的普适取证特征生成方法，产生取证目标导向的快速特征描述，能够准确的鉴别多种篡改现象。研究特征的选择和优化方法，自动筛选出高效的特征描述。(2)利用稀疏表示和高阶共生矩阵的处理操作取证。研究典型的图像处理操作的取证方法，判别操作类别、参数、过程等。利用稀疏表示进行信号分离和去噪，分离出操作所带来的变化；增强这种差异性，结合高阶共生矩阵的信号相关性描述能力，揭示操作痕迹和过程。(3)篡改内容的定位和关联分析。提出像素级的端到端的取证定位技术和优化方法，进而揭示伪造内容的来源。研究篡改内容之间的关联分析，追踪篡改内容的变化规则和预测篡改意图。本课题具有很高的创新性和研究价值。

本课题围绕视觉媒体取证与内容安全的关键问题，重点研究了图像操作及拼接伪造的取证方法、视觉媒体内容来源的取证方法、视频媒体篡改内容的取证方法、以及视觉媒体的主动保护和检测方法，为视觉媒体取证领域提供新的机理分析和检测方法。.1.图像操作及拼接伪造的取证。分析数字图像内容特征及篡改痕迹，研究操作痕迹的特征描述方法和关联分析方法，有效揭示和识别数字媒体经历的操作处理或编辑处理。分析基于对抗样本的攻击，提升检测模型的安全性。提出基于随机特征选择的数字图像取证、基于卷积神经网络的小尺寸图像中值滤波检测、基于频率残差差异的鲁棒中值滤波检测、JPEG-Resampling-JPEG操作链检测、图像内容感知缩放的检测、基于非重叠块的图像copy-move检测等方法。.2.视觉媒体内容来源的取证。针对数字视频的来源鉴别，研究不同操作软件及社交媒体的独特标记，借助视频容器分析实现视频源的取证。针对数字图像的来源鉴别，研究图像获取设备的辨识性特征，实现设备源的识别。提出基于封装容器特性的视频完整性分析、基于内容自适应融合残差网络的相机源识别等方法，并构建用于辨别HDR图片来源的数据集，得到国内外同行的关注。.3.视频媒体篡改内容的取证。针对视频假高清伪造的难点，研究基于视频编码特性的检测方法。针对视频多重压缩、帧间以及帧内关键信息删除问题，研究自适应的可靠检测方法。提出基于预测模式特征的HEVC假高清视频检测、面向自适应GOP结构的H.264视频双重压缩检测、视频帧删除检测以及反取证存在时的防御等方法。.4.视觉媒体的主动保护和检测。针对图像隐私泄露和威胁，网格等多种视觉媒体的保护需求，研究基于稀疏表示的人脸图像隐私主动保护方法，及多种视觉媒体的主动保护方法。提出基于稀疏表示和信息隐藏的人脸图像隐私保护算法、基于顶点分组和分段映射的三维模型水印算法、基于深层聚合的深度残差网络的JPEG图像隐写分析等。..发表学术论文33篇，其中SCI期刊14篇。代表性成果发表在本领域的顶级期刊IEEE Trans. on Information Forensics and Security、IEEE Selected Topics in Signal Processing等上。获得国家发明专利4项。培养的研究生获得北京交通大学优秀硕士论文3篇、获北京市优秀毕业生1人次。一篇论文获得国际会议最佳论文奖。