基于同源连续性原理的小样本多视角表示学习方法研究

Abstract：Recently, the performance of multi-view image recognition heavily relies on abundant data samples, and thus multi-view representation learning has gained more general attention, which aims to achieve the feature extraction with view invariance and the data generation with better identity preservation. Current works have obtained specific achievements, but the application requirements still cannot be satisfied in small sample environment. According to our preliminary research, multi-pose face images in high-dimensional space possess the property of continuous variation, which conforms to homology-continuity principle, and furthermore the constructed model achieves high recognition accuracies on LFW and LMDB datasets. Thus, it is rational to assume that the multi-view data of the same objects also exist the principle of homology-continuity, which can be further introduced as a priori to guide the multi-view representation learning. Consequently, the research group firstly explores manifold structures and variation trajectories of multi-view data under feature spaces for specific objects, and further demonstrates the universality of homology-continuity principle. Subsequently, the covering learning pattern of the manifold trajectories is acquired, which combines the learning mechanisms of autoencoder and topology-product neural networks to construct view-variant feature extraction method. Eventually, a novel neural network for multi-view images generation is developed. The above research works build a new theoretical and research foundation for multi-view representation learning.

近年来，多视角图像识别的性能严重依赖于数据的多样性，多视角表示学习方法也因而受到了越来越多的重视，其旨在对多视角数据实现不变性特征提取及生成唯一性更好的数据。然而，当前方法虽然取得了一定的效果，但是在小样本情况下仍然无法满足应用需求。我们前期的研究发现，人脸多姿态图像在高维空间下存在连续变化的规律，符合同源连续性原理，基于此构建的模型在LFW和LMDB数据集上取得了较高的识别率。于是我们推测同一对象的多视角数据在特征空间下存在同源连续变化规律，可以引入此规律作为先验进行多视角表示学习。因此，本项目将探索同一对象的多视角数据在特征空间下的流形结构及变化轨迹，验证同源连续性规律的普适性；其次，研究流形轨迹的覆盖学习模式，结合自编码器与拓扑积神经网络学习机制，构建具有视角无关性的特征提取方法；最后，研制出可生成多视角图像的新型神经网络模型，为多视角表示学习提供一种新的理论基础和研究思路。

深度神经网络的训练是从数据中挖掘的样本的统计规律，因此需要大量的数据，而多视角场景下的数据往往很难收集。此外，物体在不同视角下存在几何形变，而现有深度学习模型对于物体几何形变的适应能力几乎完全来自于数据本身所具有的多样性，这严重限制了深度学习技术的发展。因此，发展小样本多视角学习方法，具有重要意义。本项目基于多视角数据之间存在同源连续性规律的假设，研究同一目标对象的多视角数据在高维空间下的流形结构分布及变化规律，探索基于同源连续性的覆盖学习理论，丰富小样本学习以及多视角学习方法，挖掘多视角在生物特征图像识别中的应用，继而提升深度神经网络在多视角数据、小样本场景下的鲁棒性。本项目在以下几个方面取得重要进展和成果：（1）研究了同源连续性原理，提出了基于同源连续性原理的人脸老化建模和人脸属性编辑方法；（2）研究并发展了覆盖学习理论，基于对神经元的改造，提出了多种覆盖学习方法，并将覆盖学习应用到了3D点云分类中；（3）研究了多视角和小样本学习方法，提出了一种多视角3D图像识别方法，一种多视角立体匹配不确定性估计方法，一种多视角下戴口罩人脸姿态判定算法和一种针对高光谱图像的小样本学习方法；（4）研究了多视角在生物特征图像识别中的应用，提出了一种基于弱化显著性和特征多样性的行人再识别方法、一种基于特征加强和特征筛选的行人再识别方法、一种基于高效反卷积编解码网络的实时3D人脸对齐方法、一种注意力感知的人脸识别方法和一种小样本环境下的指静脉图像识别方法。（5）研究了多视角生成和数据增广方法，提出了一种可编辑的人脸图像生成方法，可生成40中人脸属性图像，同时提出了一种可在线连续学习的人脸属性图像生成方法。所有方法均在多种数据集中进行了验证，均表明方法的有效性。综上所述，项目取得了丰富的成果并完善了小样本多视角学习理论和方法，提高了神经网络在小样本多视角数据上的鲁棒性。