非控环境下的单目3 D人脸运动估计与追踪机理及判据研究

The 3D face pose and animation estimation system is becoming more and more popular. But there are a few challenges for this kind of system, especially in the environment of uncontrolled illumination, uncontrolled pose and obstacles. In the uncontrolled environment the face texture will change drastically, which introduces the challenges for image processing and eventually affects the precision of the estimation result. This proposal researches on problems of the random change of the face texture, the face tracking and feature point localization, the 3D face pose and animation parameter estimation and its verification under uncontrolled environment to find the essential feature of the face and solve the 3D face pose and animation estimation based on monocular . This proposal will construct the essential texture descriptor using IA-optimized double LBP, which will then be used in the adaptive tracking and localization. The depth recovery mechanism will be embedded into framework of the monocular-based precise 3D parameter estimation kernel and the prior knowledge and online knowledge will be used as the verification. The contribution of this proposal is the elimination of the shape registration task and using monocular to recover 3D face parameter precisely under uncontrolled environment. This work will provide a robust tool for natural interaction.

基于双目或多目相机图像的3D人脸运动参数估计研究越来越广泛，但目前人脸运动估计系统大多工作在理想环境下。而现实中的非控光照、非控姿态以及自遮挡和异物遮挡等复杂因素会造成人脸表观纹理发生剧烈变化，会严重影响参数估计的准确性。本项目研究非控环境下人脸图像纹理随机变化过程、人脸目标追踪和特征点定位、单目3D人脸运动估计及其结果正确性判据等内容；探索人脸纹理随机变化本质特征不变机理和解决单目3D人脸运动估计等问题。通过区间优化滤波的双LBP算子、自适应目标跟踪、深度信息恢复机制以及基于知识的学习等方法，在非控环境下力求实现构建纹理普适描述算子、准确追踪与定位、单目3D人脸运动估计内核算法以及效果检验判据等目标。本项目特色在于无需事先注册用户人脸形状参数以及采用单目系统无需标定、降低成本，可以为3D人脸运动估计在开放式自然交互领域中的应用提供科学依据。

本项目以非控环境下的单目 3 D 人脸运动估计与追踪为主线，对涉及其中的主要算法展开了深入研究，主要包括：复杂背景下的人脸图像追踪、非控光照下的人脸图像滤波处理、遮挡或大转角下的人脸特征点定位、基于多视角的人脸形状参数注册及人脸运动参数估计、3D追踪结果正确性判据研究以及人脸运动分析在驾驶员监控系统中的应用。本文具体研究内容及结果如下：.1.围绕非控光照下的人脸图像滤波处理方法展开研究。提出了基于区间计算和McClellan变换的2D零相位FIR数字滤波器设计方法，并采用区间全局优化的方法解决了McClellan变换参数的最优化问题，可对非均匀光照下的人脸图像进行滤波处理，增强图像特性，提高人脸的检测率及人脸特征点定位的准确性。.2.表观特征描述与分类器性能研究。本项目比较研究了Haar-like 特征、RLB 特征、LBP 特征相比及HOG 特征以期找到对光照变化与噪声干扰等影响更具鲁棒性的表观特征描述；还研究了基于随机森林、随机蕨与 SVM 算法的状态分类器与各表观特征描述的组合使用情况，分析了训练样本比例、特征提取方式以及特征维度对分类器性能的影响。.3.研究了基于核理论的人脸图像目标追踪方法。定性分析了基于核的追踪和基于核的学习两类追踪算法的优缺点及其适用环境，定量比较了几种代表性追踪算法的实际追踪效果，以期为实际应用环境下的人脸分析系统提供一种切实可行的人脸目标追踪算法。.4.围绕遮挡情况下的人脸特征点定位方法展开研究。提出了基于多局部特征的人脸特征点定位算法，提出了基于多层活动模型参数的回归算法。经数据库测试证明，本章提出的算法可提高人脸特征点定位的准确性，且对人脸局部遮挡和大转角偏转具有鲁棒性。.5.提出基于扩展卡尔曼滤波的人脸运动估计方法。推导了基于扩展卡尔曼滤波的人脸运动参数向量求解过程。提出了基于多视角的人脸形状参数注册算法，以减小形状参数与运动参数的耦合问题。实验表明本章算法在人脸产生平移运动、旋转运动、眼部运动和嘴部运动时仍能得到较精确的参数估计结果。.6.设计开发了基于驾驶员身份识别与人脸图像运动估计的驾驶员监测系统。在人脸运动估计的基础上，提出了基于深度学习的驾驶员身份识别算法，构造了人脸运动估计准确性判据，介绍了视线朝向分析算法，并提出了疲劳、分心预警策略。此系统采用注册流程提高了系统的识别精度，并为疲劳和分心驾驶预警提供参考的基准值。