基于形状结构线索的弱监督图像语义分割

Image semantic segmentation is a fundamental and important problem in computer vision. In this project, we consider the problem of weakly supervised semantic segmentation: the training images are annotated only by the class labels they contain, without knowing their location, shape, appearance, etc., while the purpose is to predict the pixel-label in the testing image. This project aims at both the theoretical contributions to achieve a clustering accuracy comparable with the state-of-the-arts fully supervised methods, and the practical purposes to generalize the supervised semantic segmentation to large scale data applications, such as internet photo search, security surveillance, etc. We focus on designing a particular form of conditional random field (CRF) to encode (1) the connection between visually similar superpixels among training images in a data-driven fashion with their appearance similarity, (2) the multiple visual cues in this weakly supervised setting, and (3) the relationship between test and training images based on an image-level prior.

图像语义分割是计算机视觉、图像处理和模式识别中一个基本和重要的研究问题。本项目研究图像的弱监督语义分割问题，即训练图像只标定了所含物体类别，但没有它们的位置、形状、表象等信息，目的是得到测试图像像素级别的类别标签。项目研究目标包括1）在弱监督语义分割中引入物体形状、结构分布等新颖的多重视觉线索，并以数据驱动地方式实现准确的分割和识别效果；2）以“补丁集拼接”的拆分和组装视角建模问题，根据超像素局部表象模型将用户输入图像拆分为训练图像不同部分的组装，将超像素局部表象比较、形状抽取、结构解析、图像分割、物体识别放入统一的问题定义中；3）根据图像区域对应关系设计马尔可夫随机场和条件随机场模型，描述弱监督语义分割中识别和分割的相互作用关系，从理论层面研究解决弱监督语义分割的数学模型，并从技术层面上设计高效求解算法，避免复杂优化问题的局部最优解和收敛性问题，达到与基于监督学习方法相似的分割精度。

弱监督语义分割是计算机视觉中困难但重要的研究问题。本项目利用单幅图像中和多幅图像间的表观和形状等视觉线索，在统一的框架下联合求解图像识别和物体分割问题。利用大数据和深度学习技术提取特征，编码局部区域的纹理和形状信息。利用场景结构知识度量图像块/超像素的相似性，拼装成能够提供轮廓信息的潜在物体区域。利用稳健统计和场景布局知识得到鲁棒图像配准，在多幅图像中融合表观和形状线索进行协同分割。我们还尝试利用物体构成和场景结构先验修正识别错误、提高分割边界的精度，端对端训练和联合优化深度分类网络和高阶上下文条件随机场，得到高质量的弱监督语义分割。项目的研究成果发表了7篇学术论文，包括一篇计算机顶级会议CVPR论文。获得了2016年ImageNet大规模视觉识别挑战赛（ILSVRC）场景解析分组第四名，和2017年国内计算机视觉旗舰会议CCCV的最佳论文奖。