三元空间融合下的异质人脸图像识别

Conventional face recognition methods identify the suspect by extracting feature information from the image captured in the physical space. However, human cognition is excluded from this process. In public security, due to the intentional occlusion, a normal frontal face image is not always available. Or even we could extract an image from surveillance videos, it usually cannot be employed to perform face recognition due to the low-resolution problem. In order to resolve this challenge, this project introduces the human cognition into traditional face recognition algorithms. Thus a novel paradigm, triple space (physical space, information space and cognition space) based heterogeneous face recognition, is proposed in this project. Moreover in detail, artists draw a normal frontal face sketch according to the descriptions of the eyewitness or surveillance videos, in combination with the experience and cognition of artists. Then this sketch is utilized to narrow down the search range. However, due to the great difference in texture between sketches and mug shots and the great discrepancy in image resolution between images from surveillance videos and mug shots respectively, we prefer to transform these heterogeneous images into homogeneous images or extract their shared information for recognition. This project aims to design heterogeneous face recognition methods from the aspects of efficiency and quality. This project would improve the efficiency and accuracy of suspect searching in public security departments.

现有人脸图像识别方法通过对物理空间的人在信息空间成像，进而通过信息提取达到锁定犯罪嫌疑人身份的目的，人的认知并没有参与到这一过程中。在公共安全中，由于犯罪嫌疑人的刻意隐藏躲避并不总能得到其正面人脸图像，或者即使得到其监控视频信息也往往因为分辨率低而不能用传统的人脸识别方法进行身份确认。为解决这一难题，本项目拟将人的认知引入传统人脸识别，提出基于三元空间（物理空间、信息空间和认知空间）融合的异质人脸图像识别新范式。具体为，模拟画像专家依据目击者描述或者参照视频，结合自己的认知经验，绘制正面人脸画像，进而用之身份确认以缩小搜索范围。由于模拟画像和视频监控图像与公共安全部门采集的照片数据分别在纹理和分辨率上存在很大差异，我们拟将它们先转换为同一模态或提取共享特征再进行识别。本项目将从转换的效率和质量上探索，实现异质人脸图像的快速准确识别。本项目的研究能够辅助提高公共安全部门破案效率与准确率。

传统人脸识别方法主要通过物理空间的人在信息空间成像获取身份信息，但忽略人的认知作用的重要性，而且受到真实场景下的多因素影响。例如，犯罪嫌疑人的刻意隐藏躲避并不总能得到其正面人脸图像，或者监控视频信息中的图像分辨率过低，导致无法进行身份确认。本项目以异质人脸图像和低分辨率图像为研究对象，为了缩小图像间的纹理和分辨率差异，将异质人脸图像转换为同一模态或提取其共享特征，提出了基于三元空间（物理空间、信息空间和认知空间）融合的异质人脸图像识别新范式，实现异质人脸图像的快速准确识别。具体上，本项目从理论模型、技术方法和应用验证三个层次进行，首先研究了基于模型驱动的人脸画像合成，为异质人脸图像识别提供研究基础；然后研究了快速鲁棒的图像超分辨率重建方法，进行高分辨率图像的变换估计；在此基础上，研究了基于图模型表示的异质人脸图像识别方法，深入挖掘跨域图像间的相同语义和身份信息，相关成果已经实现技术转化，并成功应用于多地公共安全部门。依托本项目，荣获2020年度教育部自然科学奖一等奖，2020年度中国图象图形学学会自然科学奖二等奖；发表与课题相关并标注本基金资助的学术论文113篇、学术专著1篇，其中国际知名期刊（IEEE T-PAMI, T-NNLS, T-IP和Pattern Recognition等）论文68篇，SCI检索77篇，主流国际会议论文35篇，其中CCF推荐的A类国际会议（CVPR、ICCV、IJCAI、AAAI和ACM MM等）和计算机视觉顶级会议ECCV论文19篇；获得国家发明专利授权20项。培养博士生14人，硕士生12人。