四维光场人脸图像的预处理和识别

Maturity of light field imaging technology provides new opportunities to theoretical innovation, technical progress and industrial development. But a new problem is how to represent, process and recognize face images in 4D light field. The project aims to establish systematic theories and methods for face image processing and recognition. We will construct a large LF face image database and develop algorithms to analyze, represent, process, classify, and recognize LF face images. The characteristics of LF data such as multi-view, multi-focus and multi-dimension will be exploited to solve challenging issues in practical face recognition applications, including extending depth of field, face detection, super-resolution,depth estimation and personal identification. By combining face recognition and the novel imaging technology, this project will open a number of new problems to face recognition community, enrich the subject content of light field imaging. The research achievements of this project will make initiative contribution to computer vision and pattern recognition and provide technical support to the development of national information industry.

日趋成熟的光场成像技术为人脸识别理论创新、技术进步和产业发展提供了数据条件，但是新数据也带来了新问题——如何表示、处理和识别四维光场人脸图像？本项目旨在创建比较系统的四维光场人脸图像预处理与识别的理论和方法，研究光场人脸图像的数据库建设、数据解析、特征表达、预处理和分类识别等内容，充分发掘四维光场数据的“三多”特性（多视角、多焦点、多维度）来解决人脸识别在复杂应用场景中面临的诸多难题（例如拓展景深、人脸检测、超分辨率、深度估计和身份识别等）。通过结合人脸识别和新型成像模式，本项目有望开辟人脸识别解题新途径，并丰富计算光场成像的学科内涵，为计算机视觉和模式识别学科发展做出开创性的贡献，为我国相关信息产业发展提供技术支撑。

日趋成熟的光场成像技术为人脸识别理论创新、技术进步和产业发展提供了数据条件，但是新数据也带来了新问题——如何表示、处理和识别四维光场人脸图像？为解决人脸识别在复杂应用场景中面临的诸多难题，本项目充分发掘四维光场数据的“三多”特性（多视角、多焦点、多维度），从光场人脸图像的数据库建设、数据解析、特征表达、预处理和分类识别四个方面进行了系统研究。我们采集并整理了一个包含300多个人数据的大规模光场人脸数据库。基于这个数据库，我们研究了光场人脸数据的解码和重对焦。针对光场图像空间分辨率低的问题，我们提出了基于双向循环卷积神经网络的图像超分辨率方法。该算法不仅可以在PSNR 和SSIM 等图像质量评价指标上取得显著提高，而且图像的视觉效果得到明显增强。针对光场图像角分辨率低的问题，我们提出了一个端到端的光场视角合成深度学习框架。该框架不仅可以重建高质量的合成视角图像，同时大幅提高视角合成的效率。针对遮挡人脸识别，我们提出了一个基于卷积神经网络和图模型的识别方法。该方法比已有的基于卷积神经网络的最前沿人脸识别方法取得了更好的性能。通过结合人脸识别和新型成像模式，本项目开辟了人脸识别解题新途径，并丰富了计算光场成像的学科内涵。