面向图像检索的多层次视觉理解表示研究

In recent decades, the proliferation of images on the Internet has highlighted the urgent need for effective image retrieval systems. However, most existing studies on content-based image retrieval face the problems of semantic gap and lack of user cognitive information, when designing the feature representation of images. In light of this, this proposal seeks to build a hierarchical visual understanding and representation model, which captures the semantic understanding and user cognitive information to represent images from different levels, and fuses them to facilitate content-based image retrieval. The main research contents include: 1) By taking full advantage of supervised information, a deep semantic segmentation framework is proposed for small objects in images, so that the accurate semantic understanding of image content is generated; 2) By jointly leveraging the semantic understanding information and low-level visual content of images, different abstract attributes of images are learned to model the user cognitive information; 3) By mining the global and local structures between features, hierarchical features of visual understanding are fused and represented in a unified way, enhancing the accuracy of content-based image retrieval. This proposal will benefit the development of a sounder image retrieval system. It can also be applied to other tasks of image content analysis and understanding, and augments the intelligent processing capabilities of computers for visual media.

近年来，互联网中图像资源的快速增长催生了对高效图像检索系统的需求。但是，现有的基于内容的图像检索研究在设计图像特征表示时存在语义鸿沟和用户认知信息缺失的问题。鉴于此，本项目提出建立图像的多层次视觉理解表示模型，通过建模语义理解信息和用户认知信息从不同层次上对图像进行特征描述，并将两者融合应用到基于内容的图像检索中。主要研究内容包括：1）充分利用监督信息，构建针对小目标的深度语义分割框架，实现对图像内容的精确语义理解；2）综合利用图像的语义理解信息和低层视觉内容，建立图像抽象属性学习模型，获取用户对图像的认知信息；3）挖掘特征之间的全局和局部结构，实现多层次视觉理解特征的融合和统一表达，进而有效提高基于内容的图像检索的精度。本项目的研究有助于构建更加完善的图像检索系统，思路可望用于其他图像内容分析与理解任务，增强计算机对可视媒体数据的智能处理能力。

本项目结合深度学习、多视图学习等方法，首先利用监督信息建立面向小目标的深度语义分割框架，获得语义理解信息；其次，通过综合利用语义理解信息和低层视觉内容信息，建立图像抽象属性学习模型，获得用户认知信息，并把用户认知信息应用到图像内容理解任务中；最后，挖掘多层次视觉理解特征之间的关联关系，融合语义理解信息和用户认知信息，学习特征的统一表示，进一步的，基于图像多层次特征，提出了多种哈希学习方法用于大规模图像检索任务。主要取得了如下成果：.（1）在目标语义分割和理解方面，项目组提出了复杂图像的目标细节信息感知方法，目标多特征交互方法，复杂背景下的小目标深度语义分割、检测和理解等方法，为下游图像理解任务打下了基础。.（2）在图像抽象属性建模问题，研究了利用用户认知信息、图像语义理解信息等提升图像抽象属性建模性能的问题，提出了抽象属性和语义概念之间的关联方法，提出了融合用户认知信息和图像高层语义的图像内容理解和分析方法，并用于在图像美学质量评价等任务中。.（3）在视觉多层次特征统一表示以及基于多层次语义特征的视觉数据检索方面，研究了多层次视觉理解特征统一表示问题，并进一步的提出了基于哈希学习的图像检索的方法，用于解决大规模图像检索的精度和效率问题。.（4）作为扩展性研究工作，尝试将上述三部分的相关思路用于心电信号识别、教育数据挖掘、医学图像处理领域的图像内容分析与理解任务，均取得了较好的效果。.通过四年的研究，本项目顺利完成了研究任务，在三个关键科学问题上取得突破，在国内外重要期刊和高水平会议上发表学术论文41篇，其中CCF A类期刊/会议论文13篇，IEEE/ACM Trans类期刊论文10篇。项目负责人以第一完成人获得山东省科技进步二等奖1项，项目负责人授权发明专利4项，在审发明专利10项；培养毕业博士生5人，培养毕业硕士研究生8人，获得山东省优秀博士学位论文1人次，获得山东省研究生优秀成果奖1人次，项目负责人获得山东省优秀硕士指导老师称号。