基于单目视觉的实时人脸动画生成方法研究

The realtime transformation of human face expression and action into that of animation model is an interesting research topic both in theory and application, which could be widely utilized in movie and game production, virtual conference scene construction, and so on. Since most of current techniques in this field require specific video capture hardware or are not user-friendly to some extent, an ordinary single camera based realtime face animation creation methodology will be researched and designed in this project. This research is composed of two main parts: the acquisition of face expression and action through realtime face shape extraction and tracking; the construction of a mapping method that transforms face shape landmark coordinates to animation model parameters, which makes the realtime animation demonstration of acquired face expression and action possible. During shape extraction, a subspace constraint and Gaussian distribution in landmark neighborhood based face shape model is proposed and utilized, and a 3D shape model is introduced to assist in dealing with multiple face pose variations. During the construction of mapping relationship, a voting strategy of sparse representation coefficients is worked out to select most critical animation model parameters to reduce parameter dependency, and then the mapping is constructed through regression analysis. This research is helpful to decrease face animation production costs and improve user friendliness, and at the same time could advance the development of general face shape extraction approaches and the application theory of sparse representation.

以动画形式实时表现人脸的表情和动作变化，是颇具理论和实际意义的科研课题，在影片和游戏制作、虚拟会议场景构建等方面有广泛的应用价值。针对当前技术存在依赖专业视频采集设备、用户友好性差等弱点的问题，本项目拟研究设计一种基于普通单目视频采集设备的实时人脸动画生成方法。具体包括两部分研究内容：实时提取跟踪人脸轮廓，捕获视频中人脸的表情和动作；建立人脸轮廓关键点坐标向面部动画模型参数的映射，使所获取的面部表情和动作可以以动画形式实时表现出来。轮廓提取时，本项目将依据子空间约束和邻域内高斯分布构建人脸轮廓描述模型，并引入三维轮廓模型辅助处理人脸多姿态问题；在建立映射关系时，本项目将首先以稀疏表示系数投票的方式，提取动画模型中的关键参数，降低参数间的依赖性，再基于回归分析建立映射。本研究有助于人脸动画制作成本的降低和用户友好性的提升，同时可以有效促进人脸轮廓提取一般性方法和稀疏表示应用理论的发展。

面部行为动作是人类表达情感的重要方式，是人与人之间交流的重要渠道。动画是一种突出的现代艺术形式，能够以直观生动又充满创造力的方式展示世界、描述生活。动画是人的艺术，人是其中永远的主体，永远的主角。因此，如何将多变的人脸动作表情如实捕捉转化到动画模型中，一直以来都是学术界和工业界关心的重要课题。在这一核心范畴下，本项目就单目视觉条件下的人脸动画生成技术展开研究，设计了一套完整的低成本和弱设备依赖的技术解决方案。该方法以普通单目图像视频信息采集设备为硬件基础，以基于二维及三维人脸信息预建模的实时人脸关键点提取方法为面部运动信息提取方式，以稀疏表示筛选结合回归分析的动画模型控制策略为动画生成方法，是三位一体的整合统一方法框架。同时，围绕着核心研究主题，本项目对该课题所涉及的多个理论和实际应用问题进行了详细研究并制定了针对性解决方案，具体包括：在人脸动作和表情的描述方面，研究确立以眼角、眉尖、嘴角等处于面部核心位置的一系列固定关键点为核心的描述方法；在面部关键点的高精度定位获取方面，分别分析探索了基于稀疏表示、回归分析、深度神经网络三种形式进行约束模型构建及提取方法；在稀疏表示优化条件的自适应设定方面，研究设计了以预先搭建的训练集为主信息依托，结合相似性定义和判定及具体图像特点的松弛程度设定方式；在动画模型的控制方面，设计提出了以核心相关性关联关键点模型参数与动画模型参数，进而基于回归方法联动控制动画模型的策略思路。除核心研究内容外，本项目还积极对研究过程中涉及和发现的相关问题展开拓展研究，进一步丰富了具体研究内容，这些相关问题包括：模糊人脸图像的判断与鉴别；一般性多源信息的自动分析融合；人脸光照模型与光照不变人脸识别；人脸图像的自动合并生成。在研究意义方面，除直接服务于动画和虚拟影像制作，作为基础理论应用课题，本项目的研究对计算机视觉、模式识别、图像处理、信息获取等诸多领域的相关课题具有一定推动意义和参考价值。