基于生成对抗网络的行人再识别关键问题研究

Person re-identification is widely applied in video surveillance and is a challenging research issue. The recognition accuracy and generalization ability of existing works are far from satisfactory because of the lack of training data, low resolution, and illumination variants. We focus on developing the theory of generative adversarial network-based person re-identification. We will study the topic of pedestrian generation, low-quality image normalization, and cross-domain discriminative feature extraction to overcome the drawbacks of the existing works. First, we will consider applying the generative adversarial networks to person re-id. In particular, we will exploit the domain-specific prior knowledge of pedestrians to improve the performance of pedestrian generation, style change, super-resolution, and illumination normalization. We also consider developing novel approaches of generative adversarial networks to improve the robustness and reliability of the generated images. Then we will apply the proposed methods to practical surveillance systems. Potential applications include pre-processing of low-quality pedestrian images, full-day surveillance and real-time person search. The proposed methods will further enrich the theories and methods of person re-id and generative adversarial networks. In particular, our project will enhance the research development of person re-id techniques which is useful to practical surveillance systems.

行人再识别在公共安全领域有着重要的应用，同时也面临着许多亟待解决的科学难题。由于训练数据不足、低分辨率、光照变化等原因，现有方法的识别精度不高，泛化性能较弱。本项目将发展基于生成对抗网络的行人再识别研究理论方法，以行人图像生成、低质量图像归一化、跨视域判别特征学习的路线进行研究，克服已有研究的缺陷。本项目研究生成对抗网络在行人再识别的应用理论，特别是结合行人领域特有的信息，提高行人图像生成、风格迁移、超分辨率以及光照归一化的算法效果。我们还将发展新的生成对抗网络方法，增强生成图像的真实性，提高泛化能力。在理论研究基础上，本项目将研究所提出的新算法在监控系统的应用，包括行人图像质量增强、全天候智能监控、实用行人检索等。本研究将进一步推动行人再识别和生成对抗网络理论方法和应用技术的发展，特别是推动实用行人再识别技术的发展。

本项目面向复杂视频监控网络面临的行人再识别应用挑战性问题，针对鲁棒稳定行人图像生成、低质量行人鉴别特征提取、跨视域行人表观变化等行人再识别面临的关键难题和科学问题开展了深入的研究，通过生物感知模型、统计计算理论、生成对抗理论和跨域度量学习等方法，利用子空间方法、稀疏表示、迁移学习、深度学习、贝叶斯理论等工具发展了基于生成对抗网络的行人图像生成方法、低质量图像行人判别特征提取方法、基于关联的视域相关行人特征提取方法等相关理论方法，提高了行人再识别系统在非受控环境下的泛化能力和可拓展性，获得一系列鲁棒性好、实用性高的行人再识别新模型。特别是在以下几个方面取得了具有较大创新性的成果。1.在基于生成对抗理论的行人图像生成以及建模方面，提出了一种基于跨分辨率知识蒸馏的神经网络提速算法和一种基于角度和衣服变化的行人生成算法，通过行人生成弥补了训练数据不足的问题，通过对抗理论减少了不同领域行人的特征差异。2.针对低质量行人表征变化尽兴了深入研究，提出了多尺度异步学习行人特征提取、换衣行人注意力模型特征学习等方法，增强了行人再识别模型的判别能力，对于低质量行人图像的表观变化更加鲁棒。3.针对行人特征的视角关联、行人间关联以及特征度量学习等展开研究，通过行人间关联性建模人群特征，并通过人群中行人的关联建模增强了行人特征的判别性，同时嵌入视角信息，提取更多维度的行人特征，并通过度量学习方法增强深度模型的特征表达能力，提高了行人再识别模型的识别准确率。.本项目共发表学术论文10篇，其中SCI3篇，包括IEEE TIP 2篇，Neurocomputing 1篇，CCF-A类国际会议CVPR1篇，被EI 检索论文9篇。申请国家发明专利1件，授权1件。本项目已经培养博士2名、硕士8名。项目组参与了多项国内外同行学术大会，包括CVPR、ICPR、ICIG、PRCV等，促进了国内外同行间的交流与合作。