基于深度自学习与超完备稀疏表示的人脸美丽研究

Facial beauty intelligence research is a forefront topic on human cognitive essence and law, concerned with multiple interdisciplinary fields about psychology, cosmetic medicine, philosophy, image processing, artificial intelligence and machine learning, etc. The aim of our project is to extract deep facial beauty feature via self-taught learning method, obtain advanced visual and constructional features, and finally predict facial beauty attractiveness precisely. Meanwhile, by utilizing relations between local and global attractiveness, we focus on studying the representation of feature information of facial attractiveness, investigating the related principles between local and global attraction, in order to reveal the essence of facial beauty and provide a scientific, objective and quantitative description for facial beauty code. Compared with traditional research, deep self-taught learning combined with overcomplete sparse representation can fundamentally avoid the shortage of manual labeling facial feature points, and get rid of the influence of subjective factors. The research achievement will benefit on revealing the essence of facial beauty and promoting significant development in the interdisciplinary fields of facial beauty, and can be applied in digital entertainment, medical cosmetic domains to produce great economic and social benefits.

人脸美丽的智能研究是关于人类认知本质与规律研究的前沿课题，涉及认知心理学、美容医学、哲学、图像处理、人工智能与机器学习等多个交叉学科领域。本项目旨在通过深度自学习方法对人脸美丽特征进行深度提取，获得更形象、更具结构性的高级特征，实现人脸美丽吸引力的精确预测；并从局部与全局特征出发，研究表征人脸美丽吸引力的特征信息，挖掘局部吸引力与全局吸引力的相关准则，揭示人脸美丽本质，为人脸美丽密码给出科学、客观与量化的描述；同时，利用超完备稀疏表示对人脸图像进行美化，达到修饰美、创造美的目的。深度自学习方法结合超完备稀疏表示，与传统人脸美丽研究相比，无需人工标注人脸特征点，避免了主观因素的影响，能更好地揭示美丽的本质规律，进而推动人脸美丽研究这一跨学科领域的长足发展；其研究成果将在数字娱乐、医学整容等应用领域产生极大的社会经济效益。

人脸美丽预测是针对不同人脸图像所具有的美学特征，采用机器学习方法进行美丽程度智能预测，从而让机器具有与人类似的人脸美丽感知智能。目前，人脸美丽预测大多依赖于几何特征和表观特征，通过传统机器学习方法实现预测。几何特征提取过程中大量的人工干预造成了其较差的普适性，表观特征在提取过程中不需要人工参与，是一种自动的特征提取方法。由于几何特征和部分表观特征人脸图像距离、比例、纹理等特征的不同侧重，导致表征人脸美丽信息的丢失。针对上述问题，本项目提出一种基于深度学习的人脸美丽预测模型，同时提出一种基于深度自学习的人脸美丽预测方法。利用卷积深度信念网络（Convolutional deep belief network, CDBN）和自学习相结合所形成的深度自学习方法，学习到人脸图像更具结构性的美丽信息，同时利用表征人脸美丽吸引力的超完备冗余字典及度量人脸美丽吸引力特征信息的量化指标，实现准确的美丽程度智能预测。本项目通过自学习方法对卷积深度信念网络进行非监督预训练，为深度网络参数提供良好的优化起点。研究了分别将像素级人脸图像及其LBP和Gabor特征作为深度网络输入时的CDBN一层与两层的人脸美丽预测效果；比较了深度自学习在不同分辨率图像和五种回归方法下的预测性能；提出了基于Gabor特征和平滑l0范数人脸识别算法，面对人脸变化达到较高鲁棒性和识别稳定性。Gabor提取的特征对光照和姿态变化具有较低敏感性。平滑l0算法通过平滑连续函数近似l0范数，它可以更快的速度、更少的测量值重建稀疏信号；提出了基于深度学习的稀疏表示人脸识别算法。采用监督卷受限玻耳兹曼机的深度学习网络提取全局和本地信息；提取的人脸图像特征可以恢复人脸图像，在减少不同类之间变化的同时，保持同类之间的差异性。该算法通过深度网络获得的特征通过平滑范数实现快速稀疏分类。获得深度自学习的人脸美丽吸引力训练模型，利用表征人脸美丽吸引力的超完备冗余字典及度量人脸美丽吸引力特征信息的量化指标，结合稀疏逼近法进行人脸美丽量化。并以此为基础，将深度学习人类大脑皮层感知理论的多层神经网络，与稀疏表示方法相结合，以此获得让机器具有与人类似的人脸美丽判断智能。通过深入研究，进一步完善了类大脑皮层感知理论与深度自学习理论，为生物特征识别应用提供技术支撑。