基于域自适应学习的图像深度协同分割方法研究

Cosegmentation is an important part of large-scale image analysis. Traditional co-segmentation is based on classical machine learning method, which cannot capture the semantic transformation from low-level data to high-level object label. In addition, the fixed-parameter-based cosegmentation models have limited capabilities in describing the objectness and the similarity of regions, which cannot meet the need of cosegmentation for massive image domains with very different data distributions. In this project, by using existed annotation data, multiple semantic evaluation networks based on classification strategy are constructed and learned. Based on the evaluation network, new cosegmentation models based on deep feature transformation and regional proposal extraction are constructed. Afterwards, a domain adaption learning method by considering strong background interference is designed for deep cosegmentation network learning. For the requirements of multi-level cosegmentation tasks, we construct the deep cosegmentation network by the regions of object class, object instance, and object part. This project is expected to provide new theory and method in the view of domain adaptive deep co-segmentation for the analysis of large-scale images.

多幅图像的协同分割是大样本图像分析的重要内容。传统协同分割方法采用经典的机器学习方法建模，无法有效刻画底层数据到高层对象的语义映射。同时采用固定参数的协同分割模型在对象性和关联性方面的刻画能力有限，无法满足数据分布极具差异的海量图像域的协同分析需求。本项目针对协同分割模型构建问题，提出基于深度学习和域自适应学习的协同分割新方法。借助于深度学习的语义映射优势和域自适应学习的知识迁移优势，实现海量图像域更鲁棒的协同分割。利用弱相关标注数据，构建基于分类策略的更易收敛的新型语义评估网络；引入语义评估模型，建立基于深度特征转换和区域候选策略的深度协同分割模型；依据域自适应学习理论，提出在强背景干扰下深度协同分割网络的域自适应学习方法；针对多层次的协同分割任务需求，构建针对对象类、对象事例和对象部件的深度协同分割应用网络。本项目研究有望为大样本图像分析提供基于域自适应深度协同分割的新理论和新方法。

协同分割致力于从多幅关联的图像中提取出感兴趣的目标区域，被广泛应用于不同时间、不同模态等关联图像的目标识别任务。同时，关联目标变化剧烈，面临着如何从不同图像域中自适应地刻画和分割关联目标的难题。为此，开展了基于域自适应学习的图像深度协同分割方法研究，旨在实现不同域下目标自适应协同提取。.研究团队围绕区域噪声滤除、语义特征描述与评估、域自适应协同分割三个研究内容开展了研究，共发表学术论文32篇（期刊论文17篇，会议论文15篇），包括高水平IEEE汇刊论文9篇，及ECCV和ACM MM等高水平会议论文。申请国家发明专利10项，其中授权6项。晋升教授职称1人，培养博士研究生4名，硕士研究生20名，其中毕业硕士研究生11名。获得中国图象图形学学会自然科学二等奖1项、中国多媒体大会中国多媒体企业创新技术奖1项等。.在区域噪声滤除方面，针对图像雾、雨噪声的干扰问题，提出了不同雾度的图像生成方法，构建了基于人工场景先验和双维度图推理的非均匀去雾优化策略、双向特征去雨网络及任务相关性驱动的动态记忆和重用网络的盲图像质量评价方法等，实现了雾、雨天图像的增强。相关工作发表于TCSVT、ACM MM、IEEE TIP等知名期刊和会议。.在语义特征描述与评估方面：提出了基于多语义等级分组和正交约束的类激活谱生成方法、不同尺寸对象的端到端多尺度特征提取网络、跨通道递归文本-图像语义融合与提取网络等，实现了多语义、多尺度的区域和对象语义描述。相关工作发表于IEEE TCSVT、Neurocomputing等知名期刊会议，其中被澳大利亚举办的DICTA挑选为“the selected top papers”，并推荐到NCAA期刊（中科院JCR2区）发表。.在域自适应协同分割方面，提出了基于可判别特征提取、融合策略、文本图像联合等未知类协同分割方法及基于对比记忆损失和上下文信息的多实例目标分割方法等，实现了噪声小样本等干扰下新域语义、实例等区域的自适应分割。相关工作发表于IEEE TCSVT、TMM、ACMM, ECCV等知名期刊或会议。