基于协同表达的深度学习机理探索

Since “deep learning” was proposed in the Science in 2006, the field has been attracted wide attentions, and also has achieved great success in the feature extraction and pattern recognition. As the DeepID2+ algorithm in the LFW database based on deep learning has gotten recognition rate over the ability of human perception. However, the deep learning also has met great challenges. First, the training phase must be data-hungry, requires massive amounts of training set , even so, its performance is not good as the result of Bayesian program learning(BPL). Second: The adversarial perturbations has shown that the depth learning is very unstable. The deep learning is abnormal even if the human vision can overcome the small perturbations in the face recognition. Third: Now, the real meaning of the node response is not clear. However, how to use these information is one of the important basis simplifying the network structure in deep learning. This shows that it may be the key problem to only to explore the mechanism of the deep learning..Therefore, this proposal intends to investigate the mechanism of the deep learning for the collaborative representation, to reveal the deep learning the essence of validity, and the apply the deep Learning plus collaborative representation (DL+CR) in the face recognition.

自Hinton 2006年在《科学》发表了深度学习的文章后，近十年来深度学习受到广泛关注和研究，并在信息表达与识别领域取得巨大成功。如基于深度学习的DeepID2+算法在LFW库超越了人类的视觉识别能力。然而，深度学习面临的挑战，首先：深度学习需要海量的训练数据集，但结果并不能超越贝叶斯规划学习框架。第二：对抗扰动的实验表明深度网络对于扰动非常的不稳定，深度学习在人类视觉可以克服的小的扰动对象上表现异常。第三： 节点激活值的强弱代表的意义不清楚，如何利用这些信息是深度学习中结构构造简化的重要依据之一。另外：除了深度学习结构设计中深度，节点数如何选取没有理论上的依据外。这显示只有探索深度学习的机理，才可能这些问题深层原因。因此本研究拟从卷积深度学习神经网的结构入手，运用样本协同信息补偿，探索性研究的深度学习的特征表达机理，揭示深度学习有效性的本质，并运用协同表示的深度学习进行人像识别。

在基金的支持下，我们开展深度学习机理探讨、相关应用的研究，主要作了以下几个方面的工作：.1.可解释性学习方面：提出了基于梯度贡献评价的Taylor形式的的统一框架。该框架统一了已有的基于Taylor 展开的梯度解释评价算法，该算法简单、效率高，且对DCNN等黑箱模型有较好的多项式逼近。.2.图像生成方面：提出一种结合变分自编码和生成对抗网络（GAN）的模型，该模型可重构具有特定属性的某人脸图像或随机生成具有特定属性的人脸图像。提出了隐空间特征超平面描述的基于样例的图像生成算法。.3.针对变尺度的时间序列，提出保持变换不变性的鲁棒小结构（Shapelet）学习方法；.4.图网络分类、图网络节点分类：提出了通过神经网络的隐层特征的度量学习，并以此度量揭示图上两节点的类标相似度的方面进行节点分类; 运用CNN算法框架，提出了对基于带权邻接矩阵的社团网络(有向或无向图)进行分类的算法。..在上述工作的基础上，我们整理了多篇论文，已经在包括AAAI的国际会和Pattern Recognition等期刊共发表了14篇（其中会议7篇，期刊7篇，含接受发表各1篇），提交论文4篇, 组织专利一项。