基于三维视频的人脸表情识别研究

基于图像或视频的人脸表情识别方法，由于三维信息的缺失，很难适应复杂光照、姿态的变化，在实际应用中受到限制。三维视频能够获取全面的表情信息，为解决上述问题提供了新途径，但目前基于三维信息的表情识别还存在许多问题需要研究，识别性能亟待提高。.本项目针对人脸表情识别问题，基于三维表情视频数据，利用视频序列包含的动态几何和纹理信息，研究三维表情的特征表示、提取和分类识别方法。主要研究内容包括：针对高维异构三维表情数据，建立统计形变模型，研究表情序列数据的时空对齐；在此基础上研究和建立融合几何和纹理信息的动态表情特征表示模型，研究高维表情特征的非线性流形降维方法；分析表情的动态时序变化规律，研究和构建动态贝叶斯网络模型用于三维表情识别。通过上述研究，力争在三维表情识别的相关理论和关键技术上取得一定突破，并结合具体应用，实现一个基于三维视频信息的能够有效识别人脸表情的原型系统。

人脸表情识别一直是模式识别和计算机视觉领域的挑战性问题。传统基于图像或视频的表情识别研究，采用图像处理等方法在表情形变特征、纹理特征和动态特征的表示方面取得了很大的进展，并获得了较好的识别结果。然而由于图像或视频数据本身缺乏三维信息，在处理光照、姿态、几何形变等与三维表情相关的问题时遇到了很大困难。而随着三维数据采集技术的快速发展和设备成本的不断降低，三维人脸数据的获取变得较为容易。三维视频能提供人脸表情的三维形状和纹理色彩及其动态变化信息，从而为上述问题的解决提供了全面丰富的数据。因此，基于三维信息的表情识别方法相对于基于二维图像或视频的方法具有很大的优势，是人脸表情识别的发展方向，也是近年来表情识别的研究热点。.本项目针对目前三维表情识别中的三维人脸数据表示、特征提取、识别方法等关键问题，特别是三维表情序列数据的动态几何和纹理特征的表示问题，从三维表情数据的处理和配准对齐，基于形变模型的三维表情数据的表示模型，三维表情的几何和纹理特征表示和提取方法，以及三维表情的分类识别方法等方面进行了深入研究，在 三维表情识别的理论和关键技术上进行了探索，提出了若干有创新性的方法，主要包括：基于薄板样条的三维表情数据的非刚性配准方法；基于双线性形变模型的三维表情人脸表示方法；基于三维网格LBP的三维表情特征表示方法；三维人脸表情的纹理特征的流形表示方法；三维表情动态时序特征的稀疏表示模型；多特征融合的三维人脸表情分类识别方法。基于上述理论和方法，以BU4DFE数据库为数据源，实现一个基于三维视频人脸表情的识别原型系统。特别是，提出的基于序列约束的子空间聚类方法，在BU4DFE数据库上的表情聚类取得了很高的性能，在不同噪声水平下得到了小于4%的错误率。.项目的研究执行和实现了各项研究任务，完成了预定的研究目标，获得了较好的研究成果。项目组共发表学术论文23篇，其中SCI论文12篇，EI检索论文7篇；申请专利4项；培养研究生9名。代表性的成果发表在IEEE Transactions on Cybernetics，Signal Processing，Multimedia Tools and Applications等著名国际刊物和AAAI，ACCV等主流国际会议上。