基于部分迁移和原型调整的视觉中心零样本分类研究

Traditional image classification methods require large amount of labeled images. However, annotating images requires lots of labor and time, and is even unrealistic for some unusual or new categories. In practice, image categories with labels are few, many image categories are without labels. Zero shot classification are classifying images without labelled training samples, with important value and wide application prospect. Zero shot classification has been the research focus in recent years. In this project, we study three key problems in zero shot classification, that is some seen samples are irrelevant, semantic representations are not accurate and test set includes seen and unseen images. For the irrelevant seen samples, we study the partial transfer algorithm by selecting seen samples. For the inaccurate semantic representations, we rectify the prototypes to learn discriminative semantic representations. We develop visual center generalized zero shot classification method for solving the problem that unseen class samples are easily misclassified as a seen class. Based on this, we built experiments to make a breakthrough in the key technology of zero shot classification, in order to improve the generalization ability of the algorithms.

传统的图像分类方法需要大量的标记数据，而标记图像费时费力。现实中带标记的图像类别是少数，大部分类别没有标记样本。零样本分类即识别没有标记样本的图像类别，已经成为目前国内外研究的热点，有重要的研究价值和广阔的应用前景。本项目针对识别没有标记样本的图像数据，对零样本分类中三个关键问题即部分已知类样本不相关，语义表示不准确，以及测试集包括已知类和未知类样本进行研究：(1)针对部分已知类样本不相关，拟提出一种已知类样本部分迁移方法；(2)针对语义表示不准确问题，拟调整类原型以学习有判别性的语义表示；(3)针对测试集包括已知类和未知类样本，拟提出视觉中心广义零样本分类方法，以解决未知类样本易被错分为已知类的问题。在此基础上，构建实验，以期在零样本分类中的关键技术方面取得突破，从而提高算法的泛化能力。

零样本分类即识别没有标记样本的图像类别，已经成为目前国内外研究的热点，有重要的研究价值和广阔的应用前景。依据项目的研究内容和研究目标，该项目按照计划进行，研究成果覆盖了研究计划的各项内容。针对源域样本不相关，选择部分相关的源域样本，提出基于视觉相关性和语义相关性的已知类样本部分迁移方法，选择与未知类相关的已知类图像。学习未知类原型表示方法。提出类原型调整方法。学习有判别性并且有可区分性的类原型。针对视觉空间和语义空间的语义差异问题，提出基于类视觉原型和语义一致性的广义零样本分类方法。同时保持未知类视觉原型在视觉空间和语义空间的语义一致性，学习更好的未知类视觉原型表示。针对已知类和未知类样本域差异大，提出基于低秩正交子空间的零样本分类方法。学习已知类样本和未知类样本在子空间有判别性的新的表示。针对生成式对抗网络生成的未知类样本真实性不足判别性不足的问题，提出迭代生成和选择未知类样本的广义零样本分类方法。提出生成判别性和语义性未知类样本的广义零样本分类方法。提出基于域偏移缩小的生成式对抗网络广义零样本学习方法。针对生成模型难以训练的问题，提出基于域不变未知类特征的广义零样本分类方法。把已知类和未知类样本映射到共同潜在子空间，缩小两域的分布差异，利用新的已知类样本表示生成未知类样本。生成的未知类样本更加符合真实的未知类样本分布。实验结果表明我们在完善零样本学习体系的同时，为解决零样本学习问题开创了新的路径。.项目共发表文章10篇，专利4项，培养研究生9名。