人脸图像的身份和表情同步识别方法研究

The simultaneous recognition of face identity and facial expression is a very challenging research topic. In many scenarios, we may need to know both face identity and facial expression, the research of simultaneous face and facial expression recognition has been very valuable, not only in theoretical aspect but also in practical applications. On the other hand, it would be helpful to improve the recognition rates of both face and facial expression by making use of the internal relationship between them. To this end, in this project we will focus our attention on the research of simultaneous face and facial expression recognition based on our preliminary work in this area. The research can be divided into three parts: (1) In the first part, we will propose to use the bilinear model for describing the simultaneous recognition framework based on human's cognition model; (2) The second part is devoting to the presentation of the simultaneous recognition approaches based on the results in the first part; (3) The last part is to construct a set of complete prototype system which includes the input of face image, face detecting, feature extraction and simultaneous recognition of face and facial expression.

面孔身份和面部表情的同步识别研究是面孔识别研究中富有挑战性的研究课题。由于在许多应用场景中需要同时知道面孔的身份信息和表情信息，因而解决面孔身份和面部表情的同步识别问题不仅具有重要的理论意义，同时具有重要的现实意义。另外，面孔身份和面部表情的同步识别还能充分挖掘二者之间的内在联系，提高识别率。本项目旨在申请人原有面孔识别研究工作的基础上，深入开展基于双线性模型的面孔身份和面部表情同步识别的理论和方法研究。本项目的研究内容包括三大部分：（1）模拟人脑对面孔识别的认知模型，提出基于双线性模型的面孔身份和面部表情同步识别方案；（2）基于该识别方案，提出面孔身份和面部表情同步识别方法；（3）构建一套完整的面孔身份和面部表情同步识别原型系统，该系统包括人脸图像的输入、人脸检测、特征提取以及面孔身份和面部表情同步识别的过程。

本项目以人脸图像的身份和表情的识别为研究主题，对人脸的身份识别、表情识别、以及人脸身份和表情的同步识别等方面进行了深入的理论、算法和方法的研究，取得了一系列创新性研究成果，提出了一系列新的理论和算法。首先，在面部表情识别方面，提出了基于稀疏表示的核典型相关分析方法、提出了基于局部特征的彩色表情识别方法、提出了基于迁移子空间分析的跨视角表情识别方法；其次，在人脸身份识别方面，提出了基于非线性多标签判别分析的人脸身份和性别的同步识别方法，提出了基于最佳KFKT优化算法的人脸识别方法；另外，在人脸身份与表情同步识别研究方面，提出了基于双线性模型的方法。通过3年的研究工作，课题组完成了预期的研究目标，在国内外权威刊物、国际重要会议上发表学术论文9篇，其中SCI论文2篇、EI论文3篇。申请国家发明专利6项，其中已获专利授权1项。申请实用新型专利2项，已获专利授权2项。主要研究成果发表在《Neurocomputing》、《Journal of Multimodal User Interfaces》、《模式识别与人工智能》等国内外权威刊物、以及《IEEE International Conference on Image Processing (ICIP)》、《IEEE Conference on Acoustics, Speech and Signal Processing (ICASSP)》等国际重要会议上。