多摄像机视频监控中的人物角色分类技术研究

本项目研究多摄像机视频监控场景中的人物角色分类相关理论与关键技术，内容包括：1）针对传统的摄像机规划技术仅针对静态的场景，或者说只能使用脱机的方法的弊端，我们研究针对异构摄像机的三维人物主动跟踪中在线摄像机规划问题；2）针对光照变化、背景扰动和运动目标引起的背景变化对运动检测和分割，从背景的快速建模和更新的角度研究目标人物视觉信息提取；3）针对运动分割的结果，我们研究人物衣着分析技术以识别出人物所穿的服装是否为保存于服装库中的某套衣服，并标定出这套衣服；4）有重叠视域的情况下，多摄像机与单摄像机相比提供了关于被跟踪目标的更多有效信息，我们研究使用多摄像机从多时空、多视角和多模态三个方面进行人物行为分析；5）针对所提取特征的多样性和异构性，执行角色识别的模型选择。研究成果为人物角色分类技术在实时视频监控、视频分析和检索和视频数据挖掘等语义检索层面的应用提供理论指导。

监控场景中的动作聚类、事件解译以及人物角色分类是计算机视觉领域的难点问题，目前本领域的研究人员更多的是考虑低层语义信息，如物体检测、跟踪等。本项目研究视频监控场景中的人物角色分类相关理论与关键技术，特别是针对所提取特征的多样性和异构性，执行角色识别的模型选择。本项目执行三年来形成一系列成果，包括专利7项、期刊论文6篇（含SCI检索国际期刊5篇）、会议论文14篇（含ACM MM、INFOCOM、ICIP、ICME、ICASSP等国际著名会议）。本项目研究成果可为人物角色分类技术在实时视频监控、视频分析和检索和视频数据挖掘等语义检索层面的应用提供理论指导。