基于生成对抗网络的无监督图像聚类算法研究

In the current era of big data, one of the hot research topics is how to discover knowledge from the massive unlabeled data. As an unsupervised data analysis algorithm, clustering analysis can identify the relationships between data and has been widely used in many fields. However, the traditional clustering analysis algorithms have high computational complexity and cannot effectively mine the deep correlations between data samples. This project will cluster the image data in the framework of generative adversarial network. Firstly, we determine the number of clusters as well as the pseudo-cluster labels via nonparametric Bayesian method. Then, thanks to the pseudo-cluster labels, we can train the generative adversarial network in a semi-supervised way. In the training process, we are able to learn deep features which are better fit the clustering task. Based on these deep features, we can obtain more reliable pseudo-clustering labels. Finally, based on this observation, we design an iterative optimization strategy to obtain the deep features which can better reveal the correlations between data samples in the clustering task.

在当前大数据时代，如何从缺少数据标签的海量数据中挖掘出有用的知识，已经成为一个亟待解决的科学问题。作为一种无监督的数据分析算法，聚类分析算法可以识别出数据之间的相似性和差异性，在众多领域都有着广泛的应用。然而，传统的聚类分析算法计算复杂度高，并且无法有效挖掘数据之间的深层次相关性。本项目将在生成对抗网络的框架下对图像数据进行聚类分析。首先，我们使用非参数贝叶斯的方法确定聚类分析中簇的个数，并对数据样本进行初步的聚类分析以获取伪聚类标签。接下来，我们使用伪聚类标签将深度神经网络的无监督训练过程转化为半监督的机器学习问题。在神经网络的训练过程中，我们能获取更加契合于聚类分析任务的深度特征。而基于这些深度特征，我们又能获取更加可信的伪聚类标签。也就是说，伪聚类标签和深度特征之间存在着相互促进的关系。基于这一观察，我们设计了一种迭代优化策略，来获取更能反映数据之间相关性的深度特征，并进行聚类分析。

近年来，深度学习技术在若干个领域取得了令人瞩目的成功。然而，这些成功的取得依赖于一个前提，即有大量标注好的数据可用于模型训练的过程。为了解决深度学习的这一局限，我们从两个方面展开了研究：无监督深度学习和零样本域适应。..无监督深度学习任务的目的在于通过深度学习技术从大量不带标签的数据中挖掘出有用的知识。为了实现这一目的，我们对卷积神经网络和高斯混合模型进行了理论分析，并提出了一种将两者进行联合优化的算法。这一算法可以有效的发挥卷积神经网络提取深度特征的能力和高斯混合模型对特征进行分析的能力。另外，我们还分析了谱聚类分析算法的特点，并提出了一种新的层次化结构。这一结构可以将多个谱聚类分析算法紧密的结合起来，进行无监督深度学习。我们的研究成果在大规模图像数据集和文本数据集上均取得了较好的结果。..零样本域适应问题基于带标签的源域数据学习一个机器学习模型，并期望这一模型可以适用于不可见的目标域。为了解决这一问题，我们提出了一种新的策略，即从一个源域和目标域均可见的辅助任务学习到两个域之间的关系，然后把这个域关系进行跨任务的迁移。我们提出的条件耦合生成对抗网络由两个生成对抗网络组成，一个对应源域数据，另一个对应目标域数据。一个二值化的条件参数可以帮我们选择待处理的任务。为了在零样本域适应问题中训练网络模型，我们提出了三个有效的监督信号，即跨域语义关系一致性，跨任务全局对齐和跨域的对齐一致性。为了更好进行分析，我们还提出了一种基于对抗学习的零样本域适应算法。这一算法通过耦合生成对抗网络来学习源域和目标域的联合分布，并通过传统的生成对抗网络对域迁移进行建模。这一算法的优点在于，它可以从一个辅助任务学习知识，并把这一知识迁移到若干个目标任务。我们的算法在图像分类任务和语义分割任务中均取得了令人满意的结果。