基于成像环境约束的低质量图像篡改取证研究

In this project, we try to improve the robustness and accuracy of image tampering forensics method. We mainly focus on forensics of low quality images. We propose to explore the constrains of scene and imaging condition, because the traditional statistical features are almost failed for these images. Based on the auxiliary information or priori knowledge, some 3D information and camera parameters can be restored. Thus, the constraints, such as lighting or shadow directions consistency, geometric constraints of some known points, and object size, should be expressed more accurately with the help of the restored information. Though 3D reconstruction from a single image is an ill-defined problem, by regulating with 3D object data collected by Kinect, we can reconstruct the 3D information from the image with a morphable model. To make the image forensics more practical in terms of robustness and accuracy, we try to solve the contradiction and compatibility problems of multi forensics clues by a decision fusion method. Besides, we also consider the problem caused by the measurement precision of forensics clue.

本项目以对低质量图像的篡改取证研究为突破口，研究基于成像环境约束的图像篡改取证算法。 低质量图像使得传统的能够反映篡改行为的统计特征基本失效。因此，本项目从对成像环境的研究入手，充分利用辅助信息，恢复图像的部分成像信息（包括物体三维信息和相机拍摄参数等）；在此前提下，研究更为准确的光照（影）一致性约束、几何关系约束、度量合理性约束等多种取证方法，同时针对多线索取证结果间的相互矛盾和相互兼容问题，研究决策融合方法，以期解决图像取证研究中的鲁棒性和准确性问题，推动篡改取证技术走向实际应用。从单幅图像恢复三维信息是个病态问题，本课题通过Kinect设备采集物体三维数据库，构建三维物体的统计约束条件，利用三维形变模型，从而较准确地重构图中物体的三维信息。此外，本课题中还将考虑取证研究中另一个重要问题，取证线索表达的精度问题。

随着信息技术和智能技术的快速发展，图像、视频编辑工具越来越智能化、简易化，给人们生活带来方便的同时，对视觉内容的真实可信性带来巨大挑战。同时，社交网络的广泛普及更是起到推波助澜的作用，大大加剧其危害性。网络上传播的图像和视频，经过多次转载和相应操作，使得传统的取证方法基本失效。因此，本项目从对成像场景的研究入手，充分利用辅助信息，研究成像过程中的几何约束、物理约束、生命体指征评估等理论与方法，针对危害性较大的人像篡改伪造问题，提出多种取证方法，以期解决视觉内容真实性取证研究中的鲁棒性和准确性问题，推动取证技术走向实际应用。本论文的研究内容包括以下方面：.1）基于几何透视失真的人脸图像拼接检测。我们从三维物体在不同相机拍摄参数下呈现不同透视失真特性这一固有现象出发，首次提出将人脸图像的失真特性与相机内参数之间的不一致性作为新的取证线索。.2）基于平面接触几何约束的人像拼接检测。我们首次探索将三维物体底面与其支撑平面之间的共面接触这一几何约束作为新的取证线索。.3）基于光照一致性的人脸图像拼接检测。我们在重建部分场景几何信息的基础上，通过充分挖掘利用三维人脸模型的几何遮挡信息和纹理信息对之前的强假设进行放松，提出一般化光照反射模型以及三维光照环境估计算法，利用光照方向一致性物理约束检测人脸图像拼接。.4）基于脉搏信号估计的虚假人脸视频检测。我们利用人脸肤色随着心跳有着周期性的变化这一特性来进行虚假人脸视频的检测。我们研究人脸视频中的脉搏信号提取算法，以脉搏信号的有无为依据对人脸视频的真实性进行判别。.在本项目资助下，在本领域重要学术期刊发表论文3篇，其中在本领域顶级期刊TIFS发表论文2篇，在国内外重要学术会议发表论文13篇，并获得国际模式识别大会（ICPR 2018）最佳论文奖。获得1项美国专利授权，申请发明专利4项目，登记软件著作权2项。在本项目资助期间，项目负责人于2018年获人工智能学会吴文俊优秀青年奖，并受到北京市青年人才托举计划（2017-2019）的支持。