基于生成对抗模型的鲁棒人脸画像合成研究

In real life, the expression of face images is variable. As a significant research topic of heterogeneous image, transformation between face photo-sketch pairs is becoming an emerging research focus among public security, social media and vision computing. However, the challenges in face sketch synthesis, such as the speed of synthesis, the quality of synthesis, as well as the robustness of synthesis, have been restricting the practical applications of face sketch synthesis. In this project, we target at tackling above challenges towards robust face sketch synthesis with high speed and quality. Our key innovation is a generative adversarial network learning framework, which handles with face sketch synthesis under the framework of deep learning. Our project covers three seamlessly-coupled points: (1) a conditional generative adversarial network for face sketch synthesis; (2) a coupled generative adversarial network for face sketch synthesis; and (3) a robust face sketch synthesis via generative adversarial fusion strategy. The output of our project is a robust face sketch synthesis framework with high speed and quality via deep learning framework. This framework has the potential to benefit law enforcement and digital entertainment, push forward the theoretical breakthrough in face image analysis and reconstruction, as well as further advancing the theoretical development in the related fields.

在现实生活中人脸图像的表达形式是多样的，人脸照片与画像之间的转换作为异质图像的重要研究内容，正逐渐成为公共安全、社交媒体以及视觉计算等领域的研究热点。然而，人脸画像合成面临的合成速度、合成质量、以及鲁棒性等挑战，一直阻挠着人脸画像合成的实际应用。本项目针对这三个挑战展开高质量高效率的鲁棒人脸画像合成研究，拟建立基于生成对抗学习的一体化框架，探索将人脸画像合成问题放到深度学习的框架下进行解决，包含三个相互耦合的研究点：（1）基于条件生成对抗网络的人脸画像合成；（2）基于对偶生成对抗网络的人脸画像合成；（3）基于生成对抗融合策略的鲁棒人脸画像合成。本项目拟形成一套基于深度学习框架的快速、高质量、鲁棒的人脸画像合成系统，推动人脸画像理解与重建的理论突破，奠定人脸画像合成在刑侦破案和数字娱乐等重大应用的技术基础，并促进相应理论研究在相关科学应用领域的发展。

在现实生活中人脸图像的表达形式是多样的，人脸照片与画像作为异质图像的重要组成部分，正逐渐成为公共安全、社交媒体以及视觉计算等领域的研究热点。然而，人脸画像合成面临的合成速度、合成质量、以及鲁棒性等挑战，一直阻挠着人脸画像合成的实际应用。本项目针对这三个挑战展开高质量高效率的鲁棒人脸画像合成研究，搭建了基于对偶生成对抗网络的人脸画像合成框架，设计了用于人脸画像合成质量评价的感知测度，并提出了基于层次风格分解的图像到图像的翻译，拓展了人脸画像合成方法的通用性。本项目形成一套基于深度学习框架的快速、高质量、鲁棒的人脸画像合成系统，推动人脸画像理解与重建的理论突破，奠定人脸画像合成在刑侦破案和数字娱乐等重大应用的技术基础。此外，本项目还深挖了在深度学习背景下影响合成任务的各种潜在的低层视觉任务。具体研究内容及其意义总结如下：1）画像合成及图像翻译：探讨画像合成及不同模态图像的迁移等问题。2）目标检测和语义分割：为基于人脸部件的画像合成提供可能。3）视觉问答及图像理解：为基于文本描述的画像合成提供可能。4）神经网络压缩及加速：为端部署及快速的画像合成提供可能。5）神经网络的对抗攻击：为安全可靠的画像合成提供可能。6）神经网络的可解释性：为可解释的画像合成结果提供可能。