融合多视觉对象的行为分析与语义描述

Human activity analysis and semantic description has become a promising research topic in computer vision. Many state-of- the-art methods only focus on the motion and appearance information of individual person and neglect the useful contextual information such as interactive object and scene, which restricts the performance improvement and wide applications of activity analysis in real videos. With the aim of inferring the "where, what, and how" semantic description of human activity, this project proposes a noval framework for analyzing human activities which combines multiple contextual visual information (i.e., person, interative object, and contextual scene) as well as multiple level feature descriptions (i.e., low-level visual feature, middle-level attribute feature, and high-level semantic description) and exploits new theories and apporaches for activity analysis under such framework. We will explore how to combine bottom-up data-driven and top-down model-driven approaches for simultaneously detecting the foreground persons and objects, and segmenting the background scene by exploiting the spatial-temporal contextual constraints between person, object and scene. Then we will focus on how to extract low-level visual features of person, object and scene. Based on the extracted low-level visual features, the correlation relationship between different attributes of person, object and scene will be modeled, and then the middle-level attribute features will be exploared to describe the person, objec and scene with more descriptive and discriminative power. Finally, we will focus on how to design and train an unified discriminative model to simultaneously infer the "where, what, and how" semantic description of activity by capturing the potential function between low-level visual feature and high-level semantic description, the potential function between middle-level attribution feature and high-level semantic correlation model.This project is significantly important for proposing new theroies and methodologies on human activity analysis and also beneficial for developing more technologies and methods for wide applications of activity analysis.

人的行为分析与语义描述是计算机视觉研究的前瞻性方向。传统的行为分析方法主要关注于单一视觉对象（即人体）的表观与运动特征，而较少考虑周围场景和交互物体等信息，缺乏较为完善的将人体、场景、物体等多种视觉对象统一建模的行为分析理论与计算框架，以及相应的模式表达和分析算法。本项目突破传统方法的局限性，以获取"人处于哪种环境、在做什么、怎么做"的语义描述为目标，研究构建融合"人、物、景"多种视觉对象、在"底层视觉、中层属性、高层语义"多层次进行行为分析与描述的计算框架。在该框架下，具体探讨视频中多视觉对象的联合检测与分割，以及相应底层视觉特征的提取与表示。进而探索不同视觉对象、不同属性之间的关联模型，并基于此研究中层属性特征的学习与表示。最后基于多视觉对象的各层特征表达，研究嵌入多层间信息传递映射及高层语义相关模型的行为语义推理。本项目对推动行为分析与语义描述的理论发展以及扩展其应用具有重要的意义。

行为分析与语义描述，是指要让计算机像人类一样通过视觉感知外部环境，自动对场景中发生的行为进行分析理解，从而帮助或辅助人类完成许多重要的任务，在智能视频监控、智能环境构建、高级人机交互等领域有广阔的应用前景，对于推动社会进步和生产力发展、保障公共和个人安全都具有重要的实际意义。关于行为分析的研究目前大多针对简单场景下的行为，且仅局限于人体本身的运动信息和表观特征，而忽略了与之相关的周围场景和交互物体等上下文信息，对于复杂场景中的行为分析理解缺乏鲁棒性和准确性。.本项目突破现有方法的局限性，主要研究：（1）构建融合多视觉对象的多层次计算框架，将传统的动作识别、物体识别和场景理解有机地融合在一起，并在视觉特征层和语义描述层之间引入中间特征层；（2）视觉对象的检测及其底层视觉特征的提取与表示；（3）中层属性特征的学习及其关联建模；（4）高层语义的相关性建模以及语义描述的生成。.本项目的主要研究成果如下：.（1）.使用含有隐变量的结构化支持向量机判别模型，将动作分类、物体检测与分类、以及场景分类嵌入于统一框架，通过类别同现关系模型挖掘动作、物体与场景之间的上下文信息。 .（2）.针对视觉对象的检测问题，提出了一种弱监督的人动作定位与识别方法，利用只标注动作类别的视频和少量标注人动作区域的互联网图像，来训练预测判别模型，用于人动作的时空检测与定位。.（3）.提出了基于局部兴趣点的时空分布特征和表观特征，分别描述人的运动和表观信息。利用高斯混合模型统计建模时空分布描述子和表观描述子，将高斯混合模型的参数量化后得到特征向量。.（4）.利用不同动作、物体、场景之间的模式相关性，设计了一种比视觉特征更具判别力、比语义类别更具描述性的类相关中层特征。为了有效融合多种底层特征，提出了基于随机森林的中层特征学习算法。.（5）.针对行为发生在不同的视角问题，提出了一种跨视角行为识别方法，利用迁移学习，将已有视角的识别模型迁移到当前视角进行识别。.（6）.针对行为内容的定义与标注问题，提出了基于知识迁移的视频中行为内容的标注方法。借助现有丰富的互联网资源，通过收集带有标注的互联网图像并学习图像集上的标注模型，最后将习得的标注模型有效地迁移到视频域上。.本项目的研究对推动行为分析与语义描述的理论发展以及扩展其应用具有重要的意义。