复杂场景视觉注意对象分割方法研究

Complex scene analysis has become an important topic in the field of intelligent multimedia information processing. A key factor in the successful scene content analysis is how to build a semantic model for scene objects. After investigating the current status of semantic discovery in complex scenes, this project proposes a new method to represent and segment visual attention object from complex scenes. Since this method utilizes human cognitive and psychological characteristics that are then embedded in high level semantic descriptions, this method can achieve good semantic description compared with the traditional methods. Four issues will be further studied in this project. The first is to build format descriptions of some concepts such as visual attention degree by analyzing the saliency of visual features. The second aims to propose local and global attention models that tally with the human perception. For the diversity issue in complex scene object recognition, the third task is designed to find a new method to describe visual attention objects based on attention transfer mechanism and build a perceptual topic model. Finally, we perform semantic content discovery and analysis for complex scene by the multi-level description from low-level features to object and event. This work will provide a new idea and theoretical foundation to solve complex scene content understanding.

复杂场景分析是智能多媒体信息处理领域中的重要研究课题，而如何建立对象语义模型则是影响场景内容分析的关键因素。本项目针对目前复杂场景语义发现的研究现状，提出了复杂场景的视觉注意对象的表示和分割新方法。由于利用了人的认知心理特性，并把该特性嵌入于高层视觉语义描述中，因此该方法比传统的对象分割方法具有更好的语义特性。通过分析不同视觉特征的显著性表现,建立特征视觉注意度等概念的形式化描述，构建符合视觉认知的局部和全局注意力模型。针对复杂场景对象存在的多样性问题，建立具有视觉注意转移特性的对象描述新方法。并在此基础上，利用空域相关特性，构建潜在注意主题学习模型。建立底层特征到注意对象的多层次表示方法，从而实现复杂场景语义内容的发现与分析。这一研究有望为解决复杂场景内容理解提供新的思路和理论依据。

复杂场景分析是智能多媒体信息处理领域中的重要研究课题，而如何建立对象语义模型则是影响场景内容分析的关键因素。本项目针对目前复杂场景语义发现的研究现状，围绕复杂场景的视觉注意对象分割方法开展了深入研究，主要研究内容包括：研究了不同特征的视觉注意特性，探索了底层特征在不同场景模型下的视觉感知特性，构建了感知相关的图像描述。针对复杂场景对象存在的多样性问题，建立具有视觉注意转移特性的共显著对象模型。结合图像空域特征与视觉注意机制的动态主题发现模型，探索了空域共生信息与局部注意力描述符的相关性，构建了语义相关的图像标注与分类模型。最后，结合多层次网格图模型，建立了多前景和多图像组的分割策略，提出了多个基于分割传播和马尔可夫随机场的图像视频对象精细化分割方法。在国内外一些著名的刊物和会议上发表38篇论文，其中包括SCI论文26篇，发表IEEE Transactions论文16篇。形成的关键技术申请国家发明专利12项，已授权3项。获2015年国家杰出青年科学基金，带领团队入选2014“智能视觉信息处理”四川省青年科技创新研究团队。作为主要骨干获得教育部高等学校学科“可视媒体信号与信息处理”创新引智基地（即“111计划”）。在人才培养方面，指导的博士荣获2016年度中国电子学会优秀博士学位论文提名奖，ACCV 2014最佳学生论文荣誉提名奖。在学术交流方面，先后担任了2014 年在成都举行的IEEE 多媒体会议和博览会（ICME2014）本地执行主席。以及2016 IEEE 视觉通信和图像处理会议(VCIP 2016)大会程序委员会联席主席。