基于动态点云的人脸表情建模和编辑方法研究

Using time-varying point clouds for modeling and editing expression is a new way of generating 3D facial expression animation. It is widely applied in many fields such as digital entertainment, virtual reality, teleconference, videophone, and so on. This project is based on the actual demand of interactive 3D facial expression modeling and editing system. We first study expression modeling based on time-varying point clouds and focus on establishing coherent point correspondences, matching expression details, and achieving automated modeling, so as to propose a new method that can automatically build a facial dynamic model with coherent point correspondences from time-varying point clouds. The dynamic model not only accurately reproduces time-varying facial expressions, but also strongly supports subsequent treatments. We also study expression editing based on the reconstructed facial dynamic model and focus on synthesizing high-realistic expressions, and designing friendly user interaction model, so as to provide new techniques for high-level interaction model and low-level interaction model respectively. These techniques can synthesize real and nature expressions satisfying user-defined constraints. The research results of this project will provide new theories and methods for realistic 3D facial expression animation manufacture based on time-varying point clouds, and provide simple and efficient techniques for the relevant issues in other fields.

基于动态点云的表情建模和编辑为三维人脸表情动画的生成提供了新途径，在数字娱乐、虚拟现实、远程网络会议、可视电话等领域有着广泛的应用需求。本项目面向交互式三维人脸表情建模和编辑系统的实际需求，研究基于动态点云的表情建模新方法，重点解决一致点对应关系的建立、表情细节特征的精确匹配、以及建模的自动实现问题，使对动态点云自动建立起高精度且保持点对应一致性的动态模型，动态模型既能精确的再现人脸表情变化，又能为各种后续处理提供强健支持。在此基础上，研究对重建的人脸动态模型进行表情编辑的新方法，重点解决表情合成的真实感问题和用户交互模式的设计问题，为支持高层和低层两种不同的交互编辑方式提供新技术，得到符合用户要求且真实自然的表情。本项目的研究成果将为基于动态点云的真实感三维人脸表情动画制作提供新思路、新理论和新方法，同时也为其它领域的相关问题的解决提供简单实用、稳定有效的新技术。

基于动态点云的表情建模和表情编辑是计算机图形学领域的研究热点和重点问题之一，它为三维人脸表情动画的生成提供了全新的方式，在计算机动画和游戏、数字影视、虚拟现实等领域有着重要的应用。. 项目重点围绕表情建模过程中一致点对应关系的建立；自动、高精度的表情细节建模；表情编辑中真实自然的表情合成；用户交互编辑模式的设计这四个问题进行了研究，为基于动态点云的表情建模和编辑提供了新理论、新方法和新技术。. 项目取得的重要结果有：提出了用于网格对准的薄膜理论，该理论将人脸网格的非刚体变形用覆盖在人脸网格上的一张弹性薄膜来表示，通过将薄膜覆盖在不同人脸网格上并调整薄膜来实现网格间的对准。并基于该理论提出了可保持一致点对应关系的网格对准算法。提出了基于细节特征提取和多尺度网格匹配的表情建模方法，可实现对皱纹、褶皱等精细表情细节的自动、精确模拟，极大提高了表情建模的精度。提出了基于区域变形的表情建模方法，方法将网格之间的非刚体变形近似为多个区域非刚体变形的组合，通过分区域匹配大大减少了运算量，提高了建模速度，可满足表情建模的实时性需求。提出了基于动态区域分割的交互式表情编辑方法，方法根据用户指定的控制点自动划分区域，由用户约束条件和点云样本数据共同决定各区域的变形，并将区域变形逐步扩散到整个模型。方法可生成符合用户编辑要求又真实自然的表情。. 项目执行期间共在国内外重要期刊和国际学术会议上发表论文14篇，申请国家发明专利3项，获软件著作权2项，获山东高等学校优秀科研成果奖3项。这些成果对丰富表情建模和编辑理论有一定的科学价值，对推动三维人脸表情动画技术的革新和发展有一定的贡献。项目组研发的基于动态点云的交互式表情建模和编辑原型系统有较好的成果转化前景。