基于互联网的表情动画迁移研究

Facial expression transfer is a basic and key technology in computer animation, computer graphics and virtual reality, also a hot and difficult issue at present. Expression transfer involves two key problems: one is the establishment of a precise expression motion model, which needs to learn from a large number of expression samples; the other one is the fidelity and real-time of expression animation sequence transfer. The rich variety of expression data on the internet provide the data base for the above problems. This project makes full use of the advantages of the internet big data, in order to research realistic three-dimensional facial expression transfer. The research contents include: 1) modeling the facial expression motions in the internet environment, which focuses on the fast and efficient crawling of the expression data on the internet, and the dynamic construction and optimization of the expression database. 2) automatic creation of the facial blendshapes, which focuses on the automatic matching of the mesh models, and the accuracy of facial expression motion transfer. 3) the expression transfer in a single frame, focusing on the reality of the expression synthesis. 4) the transfer of a expression animation sequence, focusing on the construction and fast calculation of the transfer function. The research results will provide new theories and methods for realistic three-dimensional facial expression transfer, and provide simple and efficient techniques for many fields such as digital entertainment, virtual reality, and safety monitoring.

人脸表情迁移是计算机动画、计算机图形学和虚拟现实等领域的基础性关键技术，也是当前热点问题和难点问题。表情迁移涉及两个关键问题：一是建立精确的表情运动模型，这需要通过对大量表情样本的学习来实现；二是表情动画序列迁移的逼真性和实时性。互联网上丰富多样的表情数据为这些问题的解决提供了数据基础。本项目充分利用互联网大数据的优势，研究真实感三维人脸表情动画迁移。研究内容包括：1）互联网环境下的表情运动建模，重点解决互联网表情数据的快速高效抓取、表情库的动态构建和优化问题；2）表情基的自动创建，重点解决模型的自动匹配、表情运动传递的准确性问题；3）单帧表情的迁移，重点解决表情生成的真实感问题；4）表情动画序列的迁移，重点解决迁移函数的构造和快速计算问题。研究成果将为真实感三维人脸表情动画迁移提供新理论和新方法，为数字娱乐、虚拟现实、安全监控等领域的应用提供简单实用、有效的新技术。

人脸表情迁移是计算机图形学、计算机视觉、虚拟现实等领域的基础性关键技术，如何达到高度的逼真性、运行的实时性和交互的便捷性是当前的研究热点和难点，这些难题的解决将极大地降低动画制作的门槛、提高动画制作的质量和效率，推动表情动画在数字娱乐、虚拟现实、远程网络会议等领域的发展。. 项目面向表情动画制作的实际需求，围绕互联网环境下的表情运动建模、表情基的自动创建、单帧表情的迁移和表情动画序列的整体迁移这四个主要内容开展研究。. 项目在理论和技术方面均取得了一些突破，成果体现为高水平学术论文、国家发明专利、软著、原型系统等多种形式，且已实现部分成果的转化落地。标志性成果有：提出基于二元有理分形插值曲面的表情运动数据三维规范化表达式，丰富了运动数据的表示理论和形式；提出基于顶点时空连续性的表情运动模型构建理论和方法，拓展了表情运动建模的理论基础和表达形式；提出基于运动矢量映射和样本融合的单帧表情迁移方法，解决了现有方法对人脸结构差异的适应性差、表情生成不自然的难题；构造基于动画序列内在运动规律的迁移函数，以及求解函数的具有自适应学习策略的粒子群算法和结合多种技术的基于多样性的粒子群算法，实现了大规模多元迁移函数在快速鲁棒求解方面的技术突破；提出自适应的神经网络学习策略，为表情动画实时在线迁移时的并行计算和网络资源分配，提供了新的理论支撑和实现途径；提出细节特征保持的表情动画迁移方法，为高效和高真实感的表情迁移提供了新技术。. 项目执行期间在国内外重要学术期刊发表论文30篇，其中SCI1区8篇，SCI2区3篇，CCF中文A类6篇；申请国家发明专利8项，已获授权6项；获软件著作权9项。1项专利已在全国范围内实施，初步取得经济效益50余万元。这些成果为表情动画制作提供了从数据获取、表情运动规律学习、表情基创建到表情迁移的完整的理论和技术方案，是对表情动画领域的理论丰富和技术创新，具有较好的科学意义和应用前景。