基于立体视觉的图像语义分割研究

图像语义分割是计算机视觉相关研究中一项非常重要的内容。对语义分割的研究，既有很强的理论意义，又有很广泛的应用前景。传统的分割算法大多是基于单幅图像颜色、纹理、阴影等信息的开环处理过程，而且分割结果往往不符合人类视觉的感知结果。认知心理学的研究成果表明，深度信息在人类知觉中具有非常重要的作用，它使我们得到了一个对周围世界生动而相对精确的深度分辨，对有效区分现实场景中的不同物体提供了关键参考信息。因此，本项目拟从立体相机获取的立体图对出发，在得到图像深度信息的基础上进行语义分割的研究，将深度信息融合到图像分割算法中进行有效利用。同时，将分割结果反馈到深度重建环节中，形成一个自动修正的闭环分割系统。希望通过本项目的研究能从立体视觉的角度对图像语义分割给出一个系统的解决方案，为丰富和发展图像分割方法做出积极的贡献，为人类视觉感知机制建模进行有益的尝试。

图像语义分割，是计算机视觉领域中一个基本的问题和愿望。但是对语义的抽取，对分割的实现，长期以来一直是难以突破的瓶颈问题。本项目以此为切入点，从显著性检测的角度推断图像中语义物体的抽取，用目标跟踪的应用体现分割随时-空变化的机理。代表性研究成果有：.一、基于显著性的语义物体检测与分割. （1）针对已有算法不能充分利用有效信息的问题，提出了一种基于多光谱的显著性检测方法。该算法将近红外光谱信息融入到检测模型中，同时结合可见光谱信息，为图像中显著物体的检测提供多源信息支持。实验中建立的近红外－可见光图像库，为语义分割研究提供了一个新的平台。. （2）考虑到传统算法学习能力不足的缺点，提出了一种基于多示例学习的方法来检测显著性。在训练样本的基础上，学习显著度计算模型的参数，然后用此模型来处理新的输入图像。该算法能针对特定类别的图像进行有目的地学习，因此，显著性检测的操作也更有适应性。. （3）为了更好地模拟视觉注意机制，从矩阵分解的角度出发，将特征矩阵分解为低秩矩阵和稀疏矩阵，用稀疏矩阵来解释图像中显著目标的出现。该算法假设了图像中显著物体的稀疏性，并结合了特征表达，从矩阵分解的层面来理解视觉的注意机制。.同时，将显著性检测的结果成功应用于图像/视频的缩放，使得缩放过程中，避免破坏视觉感知中感兴趣区域的完整性，给观察者以良好的视觉体验。.二、基于语义目标的分割与跟踪框架. （1）为了更好的表示语义目标的结构性，提出了基于超像素分割及深度融合的目标分割与跟踪框架。利用超像素相对于像素目标表观时所具有的结构性特点，建立基于超像素稀疏流形正则的目标表观模型。以此能更好地反映语义目标随时-空的变化关系，从而更精确地将其分割并追踪出来。. （2）考虑到多源信息的互补性，提出了基于光流-可见光-深度信息的多线索目标分割与跟踪框架。利用多源数据的互补性，强化有效信息的置信度，从而提高分割与跟踪的精度。建立的四个基于可见光-深度的评价数据库，为本领域同行的研究提供了比较平台。. 三、主要学术成果. 发表学术论文24篇（19篇SCI，5篇EI），培养研究生5名（1名博士已毕业，2名博士与2名硕士在读），参加国际会议3次（2次大会报告，1篇论文获最佳论文奖，1篇获最佳论文提名），担任国际知名会议程序委员会委员近60次。