面向小样本数据的生成对抗学习及其视觉应用

This project proposes to study generative adversarial learning for low-shot data. The objective is to use generative adversarial learning to generate data that is diverse and is label-consistent with input data, so as to assist low-shot learning. Three aspects of the research will be done to accomplish the research objective, that are, low-shot generative adversarial learning, attention learning and attribute learning. Besides, the researched methods will be applied to computer vision. Specifically, this project proposes to study: (1) theory and methods of generative adversarial learning for generating data that is diverse and is label-consistent with input data; (2) prototype based multi-attention learning for label-consistent data generation; (3) weakly-supervised attribute learning and image semantic region mining for attribute-diverse data generation; (4) apply the proposed methods and theory to low-shot face recognition, person re-id and abnormal event detection..Based on the outcomes of this project, we plan to (1) publish 6-8 high-quality papers on important international journals and conferences, (2) apply for 3 patents, and (3) jointly train 3 doctoral students.

本项目拟研究小样本环境下的生成对抗学习技术，其目标是在小样本数据上，通过生成对抗学习，生成具有类别一致性以及属性多样性的样本辅助小样本学习。本项目主要从小样本生成对抗学习、视觉注意力学习以及属性学习三个方面展开以完成上述的研究目标，此外，拟将所研究方法以及理论在计算机视觉应用中进行验证推广。具体而言，本项目的研究内容包括：(1) 生成样本具有类别一致性、属性多样性的小样本生成对抗学习方法以及理论；(2) 基于原型学习的多重视觉注意力学习方法辅助类别一致性样本生成；(3) 基于弱监督的属性特征学习以及图像语义区域关联方法辅助属性多样性样本生成；(4) 所研究的方法以及理论应用于小样本环境下的人脸识别、行人重识别以及视频异常行为检测。.基于所研究成果，拟在重要的国际学术期刊及会议上发表高水平文章6-8篇，申报专利3项，联合培养博士研究生3人。

目前主要的生成对抗网络通常需要大量样本进行训练，而实际应用场景通常仅能获取到少量的训练样本。针对该问题，本项目重点研究了小样本图像生成技术，包括研究了小样本特征高效表示与小样本生成对抗网络方法、视觉注意力机制和跨模态生成对抗网络技术以及研究了图像属性特征学习、基于风格迁移的图像生成技术等。取得了以下几方面的成果：（1）在小样本特征表示方面，提出了基于局部特征表示的小样本特征表示方法，将该表示与生成对抗网络结合，提出了基于局部特征融合的小样本生成对抗网络。（2）提出了与任务相关的视觉注意力提取机制，提出了基于特征解耦的跨模态多形变生成对抗网络，此外在跨模态生成中结合了视觉注意力以提升生成性能。（3）提出了基于无监督域适应的属性特征学习方法，提出了结合图像属性语义区域的风格迁移图像生成算法，可进行对应语义区域的风格迁移。其重要意义在于，在小样本学习和生成领域，提出了高效的小样本局部特征表示方法；在跨模态生成方面，提出了基于特征解耦假设的生成对抗网络模型，可更灵活的进行图像生成；在风格迁移领域，突破性的提出了一种考虑图像语义区域的风格迁移模型。围绕上述研究，项目执行期内共计发表论文27篇（SCI论文10篇）。申请专利8项（1项授权），申请软著1项。