与目标检测无关的显著实例分割方法和评价指标研究

Salient instance segmentation is a brand new topic in computer vision, it is able to segment different salient object instances when traditional salient object segmentation methods cannot. However, there exists several limitations on current salient instance segmentation studies, 1) current salient instance segmentation datasets are small and imperfect in labeling, this restrict training of deep neural networks; 2) current salient instance segmentation methods depend on an extra object detector, and parameters of multiple stages cannot be optimized globally; 3) we need a specified evaluation metric to assess different methods. In order to address these issues, in this program 1) we first build a large scale dataset, and bring in additional labels according to salient instance segmentation; 2) then study an object detector-free and end-to-end method, this makes all parameters optimized synchronously when training; 3) and finally we study the specified evaluation of salient instance segmentation. The research result of this program will provide new data, method and evaluation metric, and provide essential theoretical basis and application value for mobile robotics, intelligent surveillance and self-driving vehicle.

显著实例分割是计算机视觉的一个新兴课题，它解决了传统的显著目标分割方法无法辨别不同显著目标的问题。然而目前针对显著实例分割的研究还处于起步阶段，存在的不足之处在于1）现有的数据集规模较小且标注不完善，不利于深度神经网络的训练；2）现有的显著实例分割方法都依赖于额外的目标检测器，这导致多个阶段的参数无法整体达到最优；3）缺乏专用的性能评价指标，无法客观、全面地评价各种方法的性能。为了解决上述问题，本项目1）首先构建一个大规模数据集，并根据显著实例分割的特点进行额外标记；2）然后研究不依赖于目标检测器的端到端的显著实例分割方法，使所有参数能够在训练时同步优化；3）最后研究更适合显著实例分割的专用评价指标。本项目的研究成果将为显著实例分割提供新的数据、方法和评价指标，并为我国移动机器人、智能监控、无人驾驶等相关领域提供重要的理论基础和应用价值。

本项目以计算视觉中的目标检测与分割为主要研究背景，重点研究显著实例分割、多模态目标检测和医学图像分析。课题组按照项目既定研究内容和研究计划，围绕与目标检测无关的显著实例分割方法和评价指标等方面开展了研究工作，并延伸开展了针对显著目标检测的鲁棒性研究。在建模视觉注意力机制、基于弱监督的显著实例分割、预测目标的显著性、基于Transformer的单阶段的显著实例分割框架、基于稠密连接和感数等辅助信息的显著性分割和检测方法、显著目标检测模型的鲁棒性、基于RGB-D的显著目标检测方法和跨模态理解等高层语义理解任务上，均取得了技术突破。本项目还研究了医学影像分析领域中腰椎CT图像分割和人类骨龄预测算法。此外，本项目提出轻量级可学习噪声用于增强显著目标检测网络的对抗鲁棒性，在领域内属于首创。相关工作共发表9篇第一标注的学术论文，其中包括1篇 CCF-A类论文和2篇中科院一区的IEEE汇刊论文，申请2项发明专利，培养研究生10名。