基于面部活动单元的新疆维吾尔、哈萨克族表情识别研究

通过识别面部活动单元（Action Units, AU）并建立AU与表情的对应关系，来识别表情是表情识别的重要途径。AU识别、AU与表情的对应关系与民族面貌特征、文化密切相关。本项研究主要以新疆维吾尔、哈萨克族面部表情为研究对象，构造新疆维、哈族表情图像库，分析其民族面貌特征和表情特征，设计符合民族面貌特征的特征提取算法和分类器，基于动态贝叶斯网络建立描述AU在不同强度下相互依赖关系及其动态特性的知识模型，基于该知识模型实现AU识别；并通过构建描述新疆维、哈族面部表情与AU之间对应关系的规则库，实现新疆维、哈族面部表情的分析和识别。本项研究将丰富人脸表情识别的理论与方法，对于新疆地区的医疗、安全、商业应用等方面具有重要意义。新疆维吾尔、哈萨克族与中东地区和中西南亚地区民族极度相似，开展这方面的研究具有广阔的应用前景和商业意义，对提高我国国际地位，扩大国际影响力也有不可忽视的积极作用。

本项目在分析维吾尔、哈萨克族人脸面部特征，构造维、哈人脸表情库的基础上，深入研究了基于面部活动单元的维、哈人脸表情识别，主要研究成果包括：.　　　第一、提出了一种AU-LDA人脸表情概率生成模型，并基于该模型研究了维吾尔、哈萨克族面部活动单元与六种基本表情相关关系，给出了基于AU-LDA的人脸混合表情识别方法。该方法通过记录AU出现的先后顺序及出现的时间长短，在表情识别中考虑了AU的强度及其动态特征，因此，在理论上（心理学结论）应具有更高的识别准确率。根据实验结果，该方法具有如下优势：.　　　AU-LDA模型获取了AU与表情以及AU之间在一定表情下的复杂相关关系，并基于图像序列所出现的AU及各个AU的出现顺序来表示人脸表情，能够描述表情整个变化过程的细微特征，抗噪声能力强。其次，基于图像序列的AU-LDA模型还能够获取那些特征非常细微，易于被其他AU的出现所掩盖的AU的信息，并且能很好地描述和区分图像序列中不同AU的出现过程，因此能够更准确地识别表情；尤其是对于悲伤、厌恶、愤怒等基本表情，基于AU-LDA模型的识别方法的识别准确率比其它方法要高的更多。基于AU-LDA模型，我们还分析了维吾尔、哈萨克人脸表情的特点，结果表明，AU-LDA模型的分析结果与实际情况相符。.　　　第二、本项目深入分析了AU的特点，基于贝叶斯网络研究了AU之间的相关性，给出了对识别表情影响较大的AU之间的相互关系。.　　　第三、提出了基于微分平滑滤波的特征点跟踪方法，实验表明，该方法可以有效地降低由图像的不连续性导致在计算偏导数时产生的误差，从而提高特征点跟踪的精度；提出了基于地形统计模型，对表情人脸进行了宽度几何归一化处理，将地形特征与几何统计特征相融合，得到了局部全局统计信息，然后对粗略划分的地形进行了进一步的划分。实验证明，此方法能更好的提取人脸面部的表情特征，有效的提高了人脸表情的识别率；提出了一种基于强跟踪滤波器预测的AAM人脸特征点跟踪方法，实验结果表明，所提方法与传统方法相比在保证拟合精度的同时，提高了算法的跟踪定位速度。.总的来说，本项目研究对于丰富人脸表情识别的理论与方法以及新疆地区的医疗、安全、商业应用等方面具有积极意义。