基于生成对抗网络的人像图片分析方法研究

Human image analysis aims to thoroughly understand the face and human body. The task involves several core technologies of computer vision, such as image classification, object detection and semantic segmentation. It is a very challenging research topic, and is also a fundamental problem that has a wide impact on society and economy. In recent years, Generative Adversarial Networks (GANs) which has achieved great success in theoretical research and practical applications can solve the key problems of human image analysis. This proposal explores the applications of GANs in three aspects, including cross-domain human parsing, face aging, and facial attribute editing. Specifically, we plan to design a cross-domain human parsing GANs to effectively improve the generalization ability of the parsing model. In addition, we propose a face aging GANs, which can effectively improve the quality of generated faces and increase the gaps between different ages. Finally, we propose a facial attribute editing GANs, which improves the quality, diversity and authenticity of the generated image, and maintains the face identity as well. In conclusion, this proposal will make great progresses in three sub-tasks of human image analysis, with several world class research publications and patents.

人像图片分析的目标是透彻理解图像中的人脸和人体。该任务涉及到图像分类、物体检测和语义分割等计算机视觉的核心技术，是一个非常具有挑战性的研究课题，也是一个对社会和经济有广泛影响的重大基本问题。近年来，在理论和实际应用方面取得了很大的成功的生成对抗网络（GANs）能很好的解决人像图片分析任务中存在的关键问题。本基金具体探索GANs 在人像图片分析的三个方面，即跨域人像解析，人脸老化，人脸属性编辑中的应用。具体来说，我们拟设计一个跨域人像解析GANs，有效地提升人像解析模型的泛化能力。另外，我们拟提出人脸老化GANs，能有效地提高生成人脸的图片质量，并且增大不同年龄间的差距。最后，我们提出人脸属性编辑GANs，全方位地提升生成图像的质量、多样性、真实性，同时能够很好的保持身份特征。综上，本项目拟在人像图片分析的多个子任务上取得突破，并且在论文发表和专利申请等方面取得国际领先水平。

本项目为解决人像图片语义理解中的鲁棒性、精确性两大关键问题，在跨域人像解析、人脸老化和人脸属性编辑方面开展研究。围绕基于生成对抗网络（GANs）的人像图片分析方法，建立了高质量的群体人像图片数据集，研究了基于GANs等网络对人像和人体的理解问题。.本项目提出满足国家和社会的需求，丰富了学科理论，完成了既定的研究目标，即解决基于生成对抗网络的人像图片分析存在的关键问题和技术难题，提出了一套框架，具体构建了跨域人像解析、人脸老化以及人脸属性编辑三大功能模块，在人脸验证、视频监控等智能安防领域以及自动驾驶、互动娱乐等领域有广阔的应用前景。.围绕本项目发表了 IEEE/ACM Trans.期刊文章10篇，三项专利，会议文章29篇，其中CCF-A 类会议文章25篇，并取得了多项世界竞赛冠军。为发展项目相关内容，在ICCV 2019、CVPR 2021、ACM MM 2022共三次承办了“Person in Context” Workshop。