融合时空约束与先验知识的表演驱动的人脸动画生成

In recent years, performance-driven facial animation (PDFA) has become the research hotspot in the field of facial animation. PDFA comprises two topics, i.e., facial expression retargeting and facial expression driving. There exist three main problems in these two topiccs: facial expression retargeting lacks temporal constraint; facial expression retargeting needs sample support; high-resolution facial expression driving is unavailable only based on few feature points. Regarding facial expression retargeting and driving as semi-supervised learning problem which preserves certain data constraint, our project proposes a common representation for the spatio-temporal constraint in facial expression retargeting and driving based on the theory of manifold learning, and further builds a common semi-supervised learning framework with the aid of prior labeled data. We combine this framework with image and graphics processing technique to achieve 2D and 3D PDFA. Our work can preserve the temporal constraint during facial expression retargeting while overcome the sample dependency problem of traditional retargeting approach, thus has stronger generalization ability. Our framework can generate high quality facial expression only according to few facial feature points. Our work will provide method and technique support to the applications such as film-making and animation production, therefore has important theoretical significance and engineering practical value.

近年来表演驱动的人脸动画生成逐渐成为人脸动画领域的研究热点。表演驱动的人脸动画涉及两个重要问题，即表情移植和表情驱动。目前这方面的研究存在三个主要问题：表情移植缺少时序约束；表情移植需要样本支撑；无法基于少量特征点进行高分辨率的人脸驱动。由于表情移植和驱动均可归结为保持数据集特定约束的半监督学习问题，本课题充分借鉴流形学习的思想，为人脸表情移植和驱动的时空约束提出统一的表示方法，并融合先验标注数据建立统一的半监督学习框架，在此基础上，结合图形图像处理技术实现表演驱动的二维和三维人脸动画生成。本课题的工作能在表情移植时有效保持表情固有的时序约束，使移植后的表情过渡更加真实自然，同时摆脱了传统表情移植方法需要样本支撑的束缚，具有更强的可推广性。本课题的方法能根据少量特征点驱动高分辨率人脸以产生高质量的表情效果。本课题的工作将为电影、动漫等应用提供方法支持和实现技术，具有重要研究意义和应用价值。

近年来表演驱动的人脸动画生成逐渐成为人脸动画领域的研究热点。表演驱动的人脸动画涉及两个重要问题，即表情移植和表情驱动。目前这方面的研究存在三个主要问题：表情移植缺少时序约束；表情移植需要样本支撑；无法基于少量特征点进行高分辨率的人脸驱动。由于表情移植和驱动均可归结为保持数据集特定约束的半监督学习问题，本项目借鉴流形学习的思想，为人脸表情移植和驱动的时空约束提出统一的表示方法，并融合先验标注数据建立统一的半监督学习框架，利用该学习框架实现表演驱动的人脸动画生成。根据项目研究的需要，我们在最优特征选择、基于单幅图像的三维人脸重建、基于特征的半监督的人脸形变、半监督的人脸表情移植（重定向）和半监督学习方法的求解等方面提出了一系列的理论与方法，解决了表演驱动的人脸动画生成过程中的一系列核心问题。同时，我们还利用项目研究过程中形成的方法解决了一些相关问题，如姿态无关的人脸识别和图像差异度度量。本项目不仅提出了若干核心算法，还形成了表演驱动的人脸动画系统并通过了鉴定。本项目的工作能在表情移植时有效保持表情固有的时序约束，使移植后的表情过渡更加真实自然，同时摆脱了传统表情移植方法需要样本支撑的束缚，具有更强的可推广性。该方法能根据少量特征点驱动高分辨率人脸以产生高质量的表情效果。本项目的工作将为电影、动漫等应用提供方法支持和实现技术，具有重要研究意义和应用价值。