大数据环境下弱监督深度学习的人脸美丽预测研究

In big data environment, weakly supervised learning and deep learning theory are used to study facial beauty analysis, this is a challenging frontier subject in the field of image comprehension and recognition on human cognition essence and law. In our project, weakly supervised learning fusion architecture is first adopted to align the massive facial image, and extract its high distinctive feature; then, initial appearance feature is represented as high level deep representation via weakly supervised and deep learning; finally, manifold distance in beautiful facial feature space and harmony analysis are adopted to implement the precise facial beauty prediction via the facial beauty training and prediction model. Massive scale amount of unlabeled and a few beautiful face images, and weakly supervised deep feature learning method are incorporated in our project, which can fundamentally avoid the shortage of manual labeling facial feature points, and get rid of the influence of subjective factors. Thus a scientific, objective, and quantified description of facial beauty can be presented, which can promote the long term development of facial beauty research, and its research results in digital entertainment, medical cosmetic and other applications have great social and economic benefits.

大数据环境下弱监督与深度学习相结合，用于人脸美丽预测，是图像理解与识别领域关于人类认知本质与规律的前沿课题。本项目首先构建弱监督深度学习融合架构，融合弱监督与深度学习，对获取的初始表观特征进行高层次深度表征；同时，利用人脸美丽训练模型与预测模型，采用特征空间流形距离及人脸美丽和谐度分析，完成人脸美丽吸引力和谐度指标分析，有效实现无约束高精度人脸美丽吸引力预测。本项研究引入海量无标注人脸图像及少量带美丽标注人脸图像，可提取层次化、全局性与局部性的人脸美丽特征表达，避免主观因素的影响，给出科学、客观与量化的人脸美丽预测结果，推动人脸美丽研究这一跨学科领域的长足发展；其研究成果将在数字娱乐、医学整容等应用领域产生极大的社会经济效益。

人脸美丽预测是研究如何让计算机具有与人类相似的人脸美丽吸引力判断或预测能力，是图像理解与识别领域关于人类认知本质与规律的前沿课题。人脸美丽预测研究对探知人类大脑的感知机制，模拟人类智能具有重要的科学意义；其研究成果将在数字娱乐、医学整容等应用领域产生极大的社会经济效益。目前，人脸美丽预测任务存在标准数据库规模小、人工标注几何特征点普适性低、海量无标注人脸图像信息难利用等问题。针对上述问题，本项目提出一种基于深度学习的人脸美丽预测模型。利用数据增强和人脸对齐方法来增加训练集的样本数量和提高数据库的数据质量；设计了一种双激活层结构，提升卷积神经网络在人脸美丽预测任务上的自学习能力；比较了传统支持向量机和深度学习方法，以及主流深度网络的人脸美丽预测性能。通过大型人脸数据库对卷积神经网络进行预训练，为深度网络参数提供良好的优化起点。研究了多尺度卷积神经网络结构，在丰富深度人脸美丽特征多样性的同时，提升网络性能；采用最大特征图激活函数来稀疏网络参数，加强深度特征的紧凑性；采取迁移学习缓解人脸美丽数据量不足的问题，利用与人脸相关任务的模型参数加速模型收敛。通过人脸美丽图像进行多尺度预处理，增加样本尺度多样性；将深度主元分析网络作为特征提取器，快速提取深度人脸美丽全局特征；利用无监督预训练方式提取网络参数，实现快速网络训练；利用支持向量机和随机森林作为分类器，通过融合局部特征和全局特征，提升人脸美丽泛化性能。采用1×1卷积操作将局部二值模式纹理图像和原始灰度图像进行通道融合，实现网络跨通道的信息整合，提升人脸美丽预测精度。通过深入研究，进一步丰富和完善了大数据环境下弱监督深度学习理论及其在人脸美丽预测中的应用，为生物特征识别提供技术支撑。