面向多场景图像自适应的三维人脸建模研究

Image-based 3D face modeling is the core support technology for many applications. This project researches on modeling 3D face of noncooperative subjects from multi-scene, heterogeneous face images. Taking tools like machine learn model, face local characteristics synthesis by analysis and phone models, we aim to explore the canonical correlation between face images appearance and their geometry and develop an extensible and adapitve 3D face modeling method.We will put forward novel strategies, theory and the specific programs for 3D face modeling based on face images of multi-scene. The studies and key issues include:(1) Extract characteristic face set (CFS) from multi-scene images and propose an adaptive modeling stategy;(2) Propose an coincident modeling method for multi-scene images;(3) An extensible face modeling method, which can enhance the modeling effect through additional views. The results of these studies will provide a complete solution of image-based 3D face modeling and lay the foundation for face recognition and other research.

基于图像的三维人脸建模是众多相关应用的核心支撑技术。本项目以无需用户配合的三维人脸建模为背景，以多场景、异源人脸图像为研究对象，以机器学习模型、人脸局部特征合成分析、光照模型为主要手段，挖掘多视图、异构图像的内在本质联系，建立人脸图像表观与其几何形状的相关关系，研究可扩展、自适应的三维人脸建模。本项目将提出基于不同场景人脸图像的三维人脸建模的特色理论及具体方案。研究内容及关键问题包括:(1)多场景人脸图像的典型人脸数据集构建及自适应建模策略;(2)基于多场景人脸图像的一致性建模方案;(3)可扩展的人脸建模方案，能够有效地融入新视图增强建模效果。这些研究成果将提供一套完整的基于图像的三维人脸建模理论和方法，为人脸识别等研究奠定基础。

基于图像的三维人脸建模是众多相关应用的核心支撑技术。本项目以多场景、异源人脸图像为研究对象，研究了三维人脸建模相关理论和方法。在项目执行期间我们提出了一系列算法：基于时空信息融合的视频人脸图像特征提取算法;视频、图像人脸质量评估算法;人脸特征点自动定位算法;人脸外轮廓定位算法;人脸图像光照分析算法;基于图像的人脸姿态估计算法;提出了基于单张图像的人脸建模算法;提出基于多张图像融合的人脸建模算法;构建了一个包括4种不同模态的多模异构人脸数据库。相关研究成果发表学术论文11篇，获国家发明专利1项。基于研究成果完成三维人脸建模系统1套，并在手机商业软件上获得了应用推广。