基于内容感知编辑算子的复合型人脸图像真实感绘制

Face images photorealistic rendering play an important role in technological innovation in cultural and creative industries, which generates real-world facial effects in the image space by different editing operators, like region selection or blending. It is an important research topic in the area of computer graphics, computer vision and computational photographic. . The project proposes a content-aware editing model with feature learning, which is constructed by the integration of edit propagation with facial feature extraction and DLA subspace learning. The construction of a hybrid facial rendering framework that based on content-aware editing operator is also study, so that it makes an improvement in this research direction. A class of novel operators called "feature-aware masks" is proposed for content-aware region selection, edit setting and region blending. Using these operators, a hybrid facial rendering framework is built to facilitate many facial rendering tasks, such as relighting, makeup, beautification, and face blending etc.

人脸图像真实感绘制在文化创意产业中有着广泛的应用，对该产业的发展与技术创新起到重要作用。它是通过在图像空间进行图像表观特征（如光照、颜色）的不同编辑变换（如区域的选择与融合）叠加来实现具真实物空间感效果的人脸图像，是计算图形学、计算视觉以及计算机摄影学的一个重要研究领域和研究前沿。. 本项目希冀通过在编辑传播模型中融合人脸特征提取与DLA子空间学习，构建出特征学习的内容感知编辑传播模型，并在此基础上，开展基于内容感知编辑算子的复合型人脸真实感绘制问题的研究，力争在理论上和应用上均有所突破。同时通过提出称为“特征感知蒙板”的方法来实现区域选择、编辑设置和区域融合编辑在准确性、便捷性和容错性的效能提升；并以此构建一个具复用性和扩展性的复合型人脸绘制框架，来同时实现具视觉一致性、高效性和多样性的光照生成、虚拟化妆、皮肤修饰、人脸融合等绘制效果。

人脸图像真实感绘制在文化创意产业中有着广泛的应用，对该产业的发展与技术创新起到重要作用。它是通过在图像空间进行图像表观特征（如光照、颜色）的不同编辑变换（如区域的选择与融合）叠加来实现具真实物空间感效果的人脸图像，是计算图形学、计算视觉以及计算机摄影学的一个重要研究领域和研究前沿。.本项目从半监督学习的角度，提出了一个整合了不同滤波模型和传播模型的理论框架，为构建内容感知的人脸编辑变换算子提供了理论基础。基于该统一框架，通过在编辑传播模型和滤波模型中融合人脸特征提取与特征学习，构建了不同的具特征感知的人脸编辑算子，提升了人脸编辑中区域选择、编辑设置和区域融合等在准确性、便捷性和容错性的效能提升。通过对不同编辑算子的有机组合和叠加，构建了一个具复用性和扩展性的复合型人脸真实感绘制框架，实现了具视觉一致性、高效性和多样性的光照生成、虚拟化妆、皮肤修饰、人脸融合等绘制效果。.项目的研究与经费均按计划执行，发表论文8篇（其中人第一/通讯作者JCR一区SCI期刊2篇，第一/通讯作者EI会议4篇）；公开一个人脸数据库SCUT-FBP5500，并在开源平台Github上获得了广泛关注（几个月内获得200多个标星）；构建了一个复合型的人脸合成云计算平台demo；申请专利3项（均为第一或独立申请人）；参加国际会议3个；经费结余少于30%。