基于生成对抗网络的视觉显著性特征检测方法研究

Using human’s visual perception mechanism to detect image saliency is practical in various fields. Computational saliency model based on deep neural networks has received interest by the research community for many years. However, problems such as the dependence on object recognition feature, the insufficiency of error feedback and the mismatch of complexity between data and model still remain. This project aims at using generative adversarial network (GAN) for saliency detection. The main ideas and contributions are: 1. We use different input data such as random noise, fused feature map, output from network in an optimized network structure to deliver image feature to the output of generative network, which bridges different types of feature and the synthesized output. 2. We propose to alter the objective function by adding the error from real image and synthesized output to adjust GAN to saliency detection task. 3. By building a large scale data set, we train saliency model using image and saliency map combined with our customized GAN to avoid over-fitting. We seek to overcome the existing problems using GAN and build a saliency model with both accuracy and robustness.

采用计算机技术引入人类视觉感知机理，对图像进行显著性分析与检测可应用于多个领域。当前深度神经网络已成为视觉显著性研究领域的热点，然而目前方法存在过分依赖物体识别特征、误差反馈不足、样本复杂度与模型复杂度不匹配等问题。本项目拟开展基于生成对抗网络的视觉显著性特征检测算法研究。主要思路与创新为：1、以随机变量、特征融合、模型输出等多种方式产生输入数据，结合输出结果优化图像特征的传递，提高各类特征与生成结果的相关性；2、通过将真实视觉显著图与输出结果的误差引入网络的对抗训练过程中，调整模型目标函数，提高生成对抗模型对显著性特征定位的适用性和准确度；3、构建大规模视觉显著性数据集，通过结合图像与对应显著图，调整网络结构，匹配训练过程中样本与模型的复杂度，降低训练过程中过拟合的风险。项目可望通过对生成对抗网络的应用，形成同时具有准确性和鲁棒性的视觉显著性特征检测模型。

从图像与视频数据中获取信息是一个重要的信息处理任务。相比起计算机，人类在信息感知方面有着先天的优势。人类能够迅速而精准地识别出图像与视频中的内容，提取重要信息并快速总结，而计算机在这方面目前仍没有快速而准确的模型。在计算机硬件性能快速提升，大数据处理与云计算高速发展的如今，人们希望机器能够像人一样处理海量图像与视频数据，快速获取重点信息，由此诞生了视觉显著性分析检测模型的研究。视觉显著性模型即是通过建立计算机数学模型来模拟人类的视觉系统，从而在给定的图像与视频数据中提取人类普遍关注的重点。此类重点即为显著性区域，它们能直观地代表人类在观察图像与视频时获取信息的位置与特征。如何在现存的信息体量下快速获取重点信息则成为了商业、媒体等领域一个具有重大研究意义的问题。.本项目基于当前视觉显著性模型的不足，利用人工神经网络的先进性，开展基于新型深度学习网络的视觉显著性检测算法研究，通过研究数据合成，对抗训练等方法，弥补现有视觉显著性深度神经网络模型的不足，通过构建大规模视觉显著性数据集，简化深度模型复杂度，提升图像中的视觉显著性特征检测准确度。在研究基础上，将视觉显著性检测算法进行了应用，成功开发了基于视觉显著性的视频摘要方法，将视觉显著性成功与实际问题进行了结合。.本项目所涉及的模型和方法共有5篇论文发表，包括领域内的顶级CCF A类国际会议AAAI，SCI期刊Neurocomputing等，被本领域专家多次正面评价和引用，为视觉显著性在其它领域的应用提供了理论支撑。