基于全脸统计学模型和回归器的对遮挡鲁棒的三维人脸特征点定位方法研究

The automatic three-dimensional facial landmark localization problem is one of the fundamental problems in 3D face analysis. However, the current 3D facial landmarking methods need improvement in aspects of accuracy, robustness and efficiency, especially to those data in the presence of occlusions. This project targets on the problem of localizing the landmarks on 3D faces with occlusion. It attempts to detect and remove the occlusions on the facial regions using a holistic deformable statistical facial model with aid of Local Ternary Patterns; attempts to fit this deformable facial model to the 3D facial data with missing regions after the occlusion removal, so that these empty regions can be impainted and recovered; attempts to study and develop a landmark localization algorithm based on a cascaded regression model; and attempts to systematically evaluate and compare the landmarking algorithm's effectiveness on different facial feature banks in both texture and shape representations and different regression hypotheses, so that the best localization performance can be achieved. The objective of this project is to develop a new automatic facial landmark localization method with improved accuracy, robustness and efficiency compared to the state-of-the-arts landmarking techniques, especially for those facial data with occlusions.

特征点定位，是三维人脸分析研究工作的基础性问题之一。现有的特征点定位方法在准确性、鲁棒性及计算效率上都有待提高；尤其是针对带有遮挡的三维人脸，目前缺乏准确有效的定位方法。 本项目将研究带遮挡的三维人脸特征点定位方法，其基本思路：基于一个无遮挡可形变全脸统计学模型和局部三值模式，对遮挡进行精确的检测和遮挡物体移除；采用改进的拟合算法将可形变全脸统计学模型拟合到带有缺失的人脸上，从而对移除了遮挡的人脸部分进行数据修复；研究并实现基于级联回归器的定位算法，并对不同的人脸特征训练和回归器假设进行对比分析，以达到对三维人脸特征点定位的最佳结果。 本项目的目标：在带遮挡的条件下，使三维人脸特征点定位的精确度、鲁棒性和实时性得到显著提高。

本项目对遮挡条件下的三维人脸特征点定位问题进行了深入探索，分别研究了三维人脸遮挡检测与移除方法、遮挡修复方法、特征点定位方法及其在表情分析中的应用方法等关键算法。期间发表论文12篇，申请发明专利3项。其中在IJCV, IEEE Trans on Cyber.等国际权威学术期刊上发表sci检索论文4篇、在CVPR等国际权威学术会议上发表论文8篇，代表性成果包括：. 1. 提出人脸遮挡检测方法。主要研究一种强辨别力部件检测器，并使用潜支持向量机分割人脸图像的遮挡部分及人脸部分，应用于遮挡物移除并取得了较高的准确率。. 2. 提出对人脸缺失形状进行补全的系列方法。提出了基于shape-from-motion的可形变稀疏人脸模型拟合方法；提出了一种基于全脸统计学模型拟合的三维稠密形状恢复方法；提出了基于NAS-RIF的人脸纹理修复方法。三种算法联合实现了对三维人脸遮挡区域的修复，取得了较好的视觉可观性和算法鲁棒性。. 3. 提出基于卷积神经网络的人脸特征点定位方法。首先，提出了一种新的高效的非线性卷积神经网络近似方法，该方法通过最小化受低阶约束的非线性响应函数误差的方法来提高效率。随后，提出多模态人脸特征点定位的算法，在人脸三维形状和二维纹理上运用卷积神经网络进行特征点定位，取得了较好的精确性和高效性。提出了基于局部可形变模型、基于iPar-CLR的三维人脸特征点定位算法，取得了较好的准确性和表情鲁棒性。. 4. 提出两种全自动三维人脸表情分析流水线，在自动定位的人脸特征点局部区域中提取多模态人脸表情特征或动作单元（action unit）特征进行表情识别，并对比了自动特征点与手动特征点对表情识别准确性的影响，验证了人脸特征点定位算法的实际应用价值。. 在上述研究过程中，本项目先后培养博士研究生3名，硕士研究生4名。在该基金资助下，项目组成员先后6次参加CVPR等国内外著名学术会议，邀请国外权威专家来访3次。本项目研究成果吸引了国际知名企业中兴通讯的关注，正在以横向课题形式转化为实际产品。综上所述，本项目按照预期计划，圆满完成了研究任务。