基于关联特性的弱监督式海量图像语义分割研究

Image semantic segmentation is a challenging problem in the fields of computer vision and image processing. The rapid progress of internet services, multimedia technology, and big data, have witnessed the explosion of massive image data from internet, which makes the traditional supervised learning methods are infeasible due to the limited annotated training data. In order to solve this problem, this project aims to propose a novel weakly supervised formulation framework for image semantic segmentation. The main research topics and innovations of this project include: 1) according to the associated characteristics of big image data, we first propose a weakly supervised formulation scheme for semantic segmentation based on matrix completion (MC), leading to the scalability and robustness enhancement of discriminative classification model; 2) then we design an optimized scheme, named bilinear factor matrix norm minimization, for solving the large scale problem based on the alternating direction method of multipliers to improve the computational efficiency; 3) finally, based on the image representation of Bag-of-Words feature, we propose an end-to-end sparse reconstruction scheme to recovery category intrinsic histogram using MC, where the object recognition and segmentation can be achieved synchronously. The research of this topic will be of great significance to the development of image semantic segmentation.

图像语义分割一直是计算机视觉领域的研究热门和技术前沿。随着互联网业务、多媒体技术以及大数据的蓬勃发展，图像数据的增幅呈指数级爆炸趋势，使得依靠人工标注进行全监督的建模和学习方法变得不再可行。为此，本项目旨在提出一种面向海量图像数据的弱监督式语义分割框架，在提高图像语义分割模型针对海量数据和海量类别辨识能力的同时，突破现有建模和计算方法的技术瓶颈。本项目具体研究内容和创新点包括：利用图像大数据之间的关联特性，提出基于矩阵填充的弱监督语义分割建模方法，解决在监督信息匮乏以及图像噪声干扰情况下，提高模型鲁棒性和可扩展性的问题；提出基于双线性因子分解的拉格朗日交错方向优化方法，解决面向超大规模数据矩阵奇异值范数的优化问题；以词袋直方图的表达方法为基础，提出利用矩阵填充实现物体类本征直方图的重建方法，这种端到端的重建机制可同时解决物体识别与分割问题。开展本课题研究将对图像语义分割的发展具有重要意义。

本项目从人眼视觉对自然图像感知的角度，充分利用图像间的关联特性，从多尺度上下文表达、卷积神经网络构建以及物体边界辅助建模等多个方面开展图像语义分割的研究。重点考虑了语义空间和特征空间的多尺度上下文建模，视觉注意力机制下的轻量化语义分割网络设计，以及边缘提取和语义分割联合建模当方面。提出了以UNet为基础的稠密跳接的编解码分割网络、语义上下文融合语义分割网络、以及物体边界辅助的编解码语义分割网络等一系列原创性工作，并将其应用到弱监督图像语义分割领域。此外，本项目还探索了图像语义分割的相关领域：如基于双路径轻量化注意力的实时物体检测网络、利用信息熵解决噪声标签下的弱监督医学图像分类问题、以及集合熵最小化和差异性最大化的域自适应分割问题等。理论分析和仿真实验都验证了上述方法的有效性。. 在本项目实施执行期内，共资助发表SCI/EI检索论文50余篇，包括IEEE Transactions on Neural Networks and Learning Systems、IEEE Transactions on Intelligent Transportation Systems、IEEE Transactions on Medical Imaging、Pattern Recognition、Science China-Information Science以及IEEE International Conference on Acoustics, Speech and Signal Processing等高质量期刊会议论文14篇，SCI高被引和热点论文各1篇；国际会议突出贡献奖1次；获得江苏省“青蓝工程”优秀青年教师称号，国际会议最佳论文奖和最佳学生论文奖各1次；指导学生获得江苏省人工智能学会优秀硕士论文提名奖1项。申请发明专利10余项，其中授权8项。联合培养博士研究生2名（1名博士生已经毕业），硕士研究生21名(12名硕士生已经毕业)。通过本项目的实施，在图像语义理解与分析领域建立起了国内较有影响力的科研平台和团队队，为后续的科学研究的深入和技术落地奠定了扎实的理论基础。