基于人脸重建的表情不变三维人脸识别研究

三维（3D）人脸识别是当前模式识别、图像处理和计算机视觉领域的一个研究热点，在安全、监控、法律、金融等领域有着广泛的应用前景。但在现有的研究中，大多采用激光扫描仪等主动测距成像设备以获得较高精度的人脸3D数据，而事实上这些设备很难应用于实际的人脸识别系统；此外，表情变化会改变3D人脸的局部形状，提取稳健的3D人脸特征并实现有效匹配也非常困难。针对以上问题，本项目试图将人脸重建和3D人脸识别综合起来加以研究，利用三维重建获得表情稳健的人脸形状信息，并在此基础上探讨表情不变3D人脸识别的理论和方法。该项目的成功实施，对于促进人脸识别技术的发展和应用，丰富图像理解与识别的理论和方法，都具有积极的意义。该项目的难点和关键在于：表情稳健的人脸三维重建技术；表情不变的3D人脸组合特征提取与匹配技术；考虑表情因素的3D+2D识别的决策级融合技术。

三维人脸重建与识别是近年来计算机视觉和模式识别领域的一个研究热点，在安全、监控、法律、金融等领域有着广泛的应用前景。我们在人脸数据预处理、三维人脸重建和表情不变三维人脸识别等方面开展了深入研究，研究内容主要包括：(1) 人脸数据预处理方面。我们在迭代反向投影超分辨率重建算法基础上，检测投影误差的局域变化，提出一种自适应投影误差校正策略。结合纹理特征，我们给出一种改进Mean shift算法，有效地提高了人脸跟踪的稳健性。在主动形状模型（ASM）基础上，我们定义一组局部图像描述算子，利用KNN进行最优特征提取，使用基于最优特征的ASM进行特征点定位，提出一种基于改进ASM的三维人脸对应方法。(2)三维人脸重建方面。我们将压缩感知理论引入形变模型方法的建模过程中，根据测试样本在原型样本库上的稀疏表示系数，来筛选原型样本并构建形变模型。我们定义包含面部显著特征点的人脸边缘图，并应用于形变模型方法，将人脸三维重建的3D→2D匹配问题的搜索空间从两维降至一维。为了处理表情变化，我们在稀疏形变模型法的基础上，提出利用明暗恢复算法（SFS）进行人脸形状修正。我们提出“由粗到精”的三维人脸重建方法，根据显著特征点确定三维人脸的大体形状，然后利用非显著特征点对模型的细节进行进一步的细化。(3)表情不变三维人脸识别方面。我们提出一种基于测地线采样的三维表情人脸识别方法，利用测地线距离具有的良好几何不变性，提取稳健的三维人脸特征。在此基础上，利用人脸的先验知识，根据测地线距离构建三维人脸的弹性图模型，提出基于弹性图匹配的表情不变三维人脸识别方法。我们结合三维人脸重建，提出基于特征分块的三维人脸重建和识别方法，分别匹配各重建分块，利用决策级融合策略得出识别结果。结合基于边缘图的形变模型法，我们提出一种基于三维重建的3D+2D人脸识别方法，依据输入人脸图像，利用重建模型合成相应的2D正面图像，采用加权融合策略实现多模态人脸识别。该项目完成情况良好，取得了较好的成果，共完成核心期刊论文17篇，其中SCI、EI收录10篇，申请专利6项，培养硕士生11名, 编写人脸重建软件实验平台1套。该项目的成功实施，对于促进人脸重建和识别技术的发展和应用，丰富图象理解的理论和方法，都具有积极的意义。