基于弱监督学习的图像语义分割研究

With the rapid development and popularization of Mobile Internet, users can upload their images to the internet easily, and the amount of web images increases violently. To efficiently organize, manage and retrieve large scale web images, it is urgent to develop techniques for image analysis, understanding and mining. This project conducts researches on image semantic segmentation, i.e., predicting the label for each pixel (superpixel) of image, which achieves image segmentation, object detection, and automatic annotation in a unified framework. To improve the performance of semantic segmentation, we sufficiently leverage the information from the weak label provided by the users, use multiple quantizations (partitionings) of each image, extract different cues for image region including visual features, perceptual features and context information, and combine bottom-up image content and top-down prior knowledge. We put emphasis on studying weakly supervised method which learns the superpixel classifiers without labeled superpixels for training, and overcome the challenges, i.e., the scale of data is large, the number of classes is great, and the feature is high-dimensional.

随着移动互联网的迅速普及，网络用户可以方便地上传图像，互联网上图像资源与日俱增。为有效组织、管理和检索海量网络图像，亟需方法实现对海量图像内容的分析、理解和挖掘。本项目研究图像语义分割，预测图像每个像素（超像素）的标签，从而在一个算法框架内解决图像分割、物体检测、图像自动标注等诸多任务，将充分利用用户提供的非精确标签信息，采取多量化图像分割策略，综合提取图像区域视觉特征、感知特征、图像上下文关系等不同层次线索，将自底向上的图像内容和自顶向下的先验知识有机结合起来，提高图像语义分割的效果。本项目重点研究弱监督学习算法，解决在训练集中超像素标签未知的情况下如何训练超像素分类器的问题，同时克服数据规模大、语义类别多、特征维数高等带来的挑战。

随着带有拍照功能的智能手机的普及，人们可以方便地随时拍照并将之上传到网上与别人分享。互联网上每时每刻出现大量新的图像数据。研究如何有效利用发掘这些图像大数据具有重要意义。本项目研究图像语义分割，预测图像每个像素的语义标签，充分利用用户提供的非精确标签信息，综合提取图像区域视觉特征、图像上下文关系等不同层次线索，提高图像语义分割的效果。本项目重点研究弱监督学习算法，解决在训练集中超像素标签未知的情况下如何训练超像素分类器的问题。研究过程中，我们提出了基于条件随机场模型的弱监督图像语义分割框架，该模型充分发掘了弱标记图像的各种一阶与二阶关联性，对全局图像和不同粒度分割得到的超像素分别抽取了视觉特征和中层语义表示，提高了语义分割的性能。我们的研究成果以学术论文形式系列发表在计算机视觉领域和人工智能领域的国际顶级学术会议CVPR，ICCV，ECCV，IJCAI上，论文发表以来引起国际同行学者关注，项目相关的每篇学术论文在 GoogleScholar 上均具有较好的引用数。