融合多尺度上下文的图像标注研究

Multi-class object labeling in nature images is a challenging problem in the fields of computer vision and image processing. Efficient usage of contextual information is benefit to improve the recognition accuracy for different objects and regions. The current labeling methods, however, often neglect the multi-scale characteristic of contextual information, which indicates different scale context provides different visual information, leading to the insufficient usage of image contextual cues. In order to extend the theoretical system of image labeling and image understanding, this project aims to propose a novel image labeling framework based on fusing multi-scale contextual information. The main research topics and innovations of this project include: due to the unknown characteristic of object scale, we propose an image representation approach using dynamic segmentation graph, which mainly addresses the problem of selecting apposite scale visual context to represent object class; research on a robust multi-scale feature descriptor, which mainly addresses the problem of describing visual context in different scales; in order to utilize the complementary and difference of contextual information within different scales, we propose a multi-scale context fusing model, which mainly addressed the formulation problem to balance model complexity and labeling performance.

对自然图像中的物体进行自动标注，以达到图像理解的目的是计算机视觉和图像处理领域的研究热点问题。充分利用每幅图像中蕴含的上下文信息，有助于提高图像中物体和区域的识别准确率。但是，现有的图像标注方法往往忽视了上下文信息的多尺度特性，即不同尺度上的上下文提供不一样的视觉信息，从而导致图像中蕴含的上下文信息没有得到充分地利用。为此，本项目旨在提出一种全新的融合多尺度上下文的图像标注框架，以扩展现有图像标注与图像理解的理论体系。本项目具体的研究内容和创新点包括：根据物体尺度信息未知的特性，提出一种动态分割图的多尺度上下文表达方法，解决选择合适尺度上下文信息来表达不同类别物体的问题；提出一种鲁棒的多尺度上下文描述符，由于上下文信息具有多尺度特性，因此所设计的描述符必须也具有多尺度特性；利用不同尺度上下文之间的差异性和互补性，提出一种多尺度上下文融合模型，解决平衡模型复杂度以及提高标注性能的建模问题。

该项目以心理学实验为理论依据，从人眼视觉对自然图像感知的角度，利用图像中不同尺度的上下文信息来研究图像语义分割问题。为此，本项目从多尺度上下文表达和多尺度上下文建模两个方面进行研究。重点考虑了基于动态分割图的上下文表达方法、鲁棒的多尺度上下文描述子以及连续贝叶斯线性建模等方面。提出基于混合动态马尔科夫随机场的图像语义分割方法以及利用动态分割图编码的多尺度上下文图像语义分割方法。此外本项目还根据语义分割领域的进展，将研究进一步扩展到利用深度卷积网络建模图像上下文的语义分割方法，具体包括基于多尺度全卷积网络的图像语义分割以及基于稠密编解码网络的弱监督图像语义分割方法。此外，本项目还探索了图像语义分割的相关领域：显著性前景物体检测与分割以及人脸对齐与识别。在显著性前景物体检测与分割方面，本项目提出动态对比度度量融合的显著性检测方法以及基于背景区域抽取的显著性物体检测方法；在人脸对齐与识别方面，本项目提出基于SIFT 特征流和低秩稀疏表达的人脸对齐与识别方法以及基于低秩稀疏分解的人脸超分辨率重建机制。理论分析和仿真实验验证了上述算法的有效性。. 本项目在国内外重要学术期刊和学术会议上发表论文33 篇，其中SCI 检索18 篇，EI检索32 篇。其中包括JCR 二区以上论文7 篇以及会议最佳学生论文1 篇，并被国际会议邀请做特邀报告1 次，Google Scholar 显示论文总引用率超过100 余次。申请发明专利5 项。此外，在青年基金项目的依托下，申请人还主持承担了1 项国家自然科学基金国际间合作与交流项目。