视频中场景理解的因果模型与推理方法

Scene understanding is one of the topics received growing concern in Computer Vision, Artificial Intelligence and Cognitive Science community. The representation of a scene is crucial for understanding. This proposal targets to the application of scene understanding, and studies the representation of the scene. This proposal mainly studies: the global and local representation for scenes; establishing semantic graph to represent the relations among objects; the constraints of geometry, physics, functionality, and statistics for relations among objects; recovering missing objects due to severe occlusion. This proposal will help to improve the study of human-machine coordination, video retrieval and human-computer interaction. This proposal has important academic significance and application value.

场景理解是计算机视觉、人工智能以及认知科学备受关注的研究方向之一。而场景的表达对于理解场景至关重要。本项目面向视频中场景理解的应用，研究场景的表达方法。研究内容包括：研究全局与局部相结合的场景表示方法，建立场景中物体之间的关系语义图，研究物体关系描述所满足的几何约束、物理属性约束、功能属性约束以及统计约束，恢复由于观测噪声、遮挡等因素导致的物体的不完整轨迹。本项目的研究成果将为人机协同、视频检索以及智能人机交互等应用领域提供技术支撑，具有重要学术意义和应用价值。

本项目按照预定的计划，面向场景理解的应用，对于场景的表达方法以及相关应用开展了研究。按研究计划，本项目搭建了多目标跟踪方法平台，获取了高层语义所需的视觉元素；定义了场景中物体之间以及物体和人之间关系的抽象表达；对几何约束、物理约束以及统计先验进行了研究。..在全局表示中，我们将场景表示为关系语义图，构建物体和物体之间，物体和人之间的关系表达，帮助人机协同、视频检索以及智能人机交互等任务掌握物体之间高层关系；我们借助物理渲染引擎，研究了物体关系描述所满足的几何约束、物理属性约束、功能属性约束以及统计约束，这些约束帮助消除由于数据获取、预测产生的噪声而导致的语义错误，提高关系语义图表达的准确度。..在局部表示中，我们研究利用物体之间的关系推理场景中所有物体的完整运动轨迹，研究了对于可见的物体进行鲁棒跟踪，对于不可见的物体进行轨迹推理的方法。..通过一年的研究工作，我们在CCF A类会议上发表论文1篇（AAAI 2019），在CCF A类期刊上发表论文1篇（TVCG），在SCI 二区期刊上发表论文1篇（Pattern Recognition）。这些成果得到了国内外同行的认可。本项目围绕研究计划开展，在理论方面、应用方面、数据资源建设以及人才培养方面取得了一系列的研究成果，完成了项目的预期研究目标，取得了良好的效果，并为后续研究奠定了重要基础。.