多显著物体的分析与理解

Visual saliency is an important topic in both computer vision and cognitive psychology areas. However, visual saliency, which is highly related to psychology and human perception, is not limited to detecting object-of-interest in the human visual system. For instance, human visual system is capable to enumerate the number of salient object in the scene at a glance without counting. This subitizing ability is intrinsically interconnected with saliency detection in our brain in a parallel fashion. The goal of this project is to simulate various saliency related tasks in the human visual system, and to explore the research on multiple salient objects. These tasks include salient object detection, subitizing, ordering, salient instance detection, etc. This project aims to explore an interdisciplinary study between computer vision and cognitive psychology. We aim to utilize some deep learning techniques, like fully convolutional network and recurrent network, to simulate different saliency phenomena by proposing various computational models. We will also delve into the relationship between these saliency phenomena. This project provides a promising way for improving the performance and applicability of saliency computation.

视觉显著性是计算机视觉和认知心理学中的一个重要研究领域。然而，视觉显著性作为一个与人的心理、认知有密切相关的现象，其在人的视觉系统中不仅仅局限于检测感兴趣的对象。例如，人的视觉系统有迅速感知当前场景显著物体的数量的能力。这种感数能力与显著性检测密不可分，也经常在人脑中同时进行。该项目目的在于模拟人的视觉系统中与显著性相关的不同任务，开拓多显著物体在不同方面的研究，其中包括显著物体的检测、感数、排序和显著个体的检测等。本课题主旨在于探索计算机视觉与认知心理学的交叉学科研究，利用全卷积网络、递归网络等深度学习技术，模拟多个不同显著性现象，针对性的提出的多显著性计算模型，并研究这些显著性现象的互补关系。本课题的开展将会为提升显著性计算和增强其实用性提供新思路。

视觉显著性是计算机视觉和认知心理学中的一个重要研究领域。然而，视觉显著性作为一个与人的心理、认知有密切相关的现象，其在人的视觉系统中不仅仅局限于检测感兴趣的对象。本项目面向图像及视频的视觉显著性检测技术的共性基础问题，以探索计算机视觉与认知心理学的交叉学科研究为科学目标，深入开展了视觉感数检测、视频显著性检测、显著对象精确分割等方面的理论方法研究，并拓展到其它相关图像理解问题。（1）开创性地探讨由视觉问答驱动的自上而下显著性，并提出一种双重监督的显著性、视觉问答联合训练模型；（2）针对视频显著性问题，提出基于图结构的长跨度结构关系提取算法，获得视频中贯穿整个视频的显著性物体，并获得世界中领先的性能；（3）将显著性/注意力机制应用到低层级视觉理解当中，解决了图像反射去除、人群计数等问题；（4）探索无监督学习、主动学习等机制，并创新性地与计算艺术、抠图等应用有机结合，并在这些任务中都取得世界领先的成果。在本项目的支持下，发表（录用）学术论文29篇，其中CCF A类论文17篇；申请发明专利申请3项。