基于检测和跟踪的真实场景中多人行为分析研究

已有的行为分析与理解研究主要侧重在单人行为的识别、分类和检测上，对多人行为的研究不够。本项目面向智能视频监控的实际需求，开展多人行为分析的关键技术研究，包括：多源信息融合的人体检测与跟踪、多人小组的检测、基于时空上下文的特征提取与描述、多人行为建模。我们提出利用运动上下文信息来辅助表观信息进行视频中人体检测；针对多目标之间的交互信息构造交互模型，将交互模型作为约束条件加入到传统跟踪框架下，得到鲁棒的多目标跟踪方法；融合社会学模型对场景中的行为进行分析，检测场景中的多人行为小组；研究结合时空上下文关系的特征描述方法以更好的表达多人交互行为；采用基于核逻辑回归的多核学习方法对多人行为进行建模。本项目的实施，将对视频分析与行为理解的理论与技术研究起到推动作用，为新一代智能视频监控服务提供核心算法与技术。

围绕基于检测和跟踪的多人行为分析的理论方法和关键技术展开研究，具体包括行人检测、单目标跟踪、多目标跟踪、单人行为分析和群体行为分析等，课题进展顺利，取得了较为显著的研究成果，已完成或超额完成课题的各项预期目标。1)在目标检测方面，对在行人检测领域如何使用颜色信息去描述人体进行了研究，提出了两种颜色编码模式进行行人检测；针对行人在多摄像机下的追踪问题，提出了一种基于互信息的人体重检方法。2)在目标跟踪方面，提出了一系列有效的算法和技术：针对多视监控网络中被跟踪的物体或背景通常会有变化而产生的目标漂移问题，提出半监督在线CovBoost对象跟踪方法，把迁移学习引入到跟踪任务，采用在线CovBoost算法并结合半监督学习来进行目标跟踪；针对跟踪过程中，固定的特征往往不能适应目标的变化，提出将特征子集看作一个整体来衡量其分类能力，然后选择最具有区分能力的特征子集，来构建目标的表观模型；针对人体的局部刚体特征，学习了一种基于树结构约束的人体局部分块的跟踪算法；针对跟踪过程中的遮挡问题，提出一种与具体跟踪模型无关的遮挡检测算法，可以灵活的嵌入一般的跟踪算法中；针对多目标跟踪过程中，特征的权重不断变化这一现象，提出利用在线结构化SVM来在线学习特征的权重，提高多目标跟踪的鲁棒性。3)在行为分析方面，针对BoWs模型忽略了特征之间时空关系的缺点，提出了基于特征点轨迹的人体动作识别和基于时空上下文信息的人体动作识别；提出了一种融合运动和表观信息的多人行为识别方法，通过层次化的建模结合概率运动信息描述和有效的表观信息描述，为视频监控中的群组行为分析提供了有效解决方案；针对群体行为的中层语义缺失的问题，提出基于社会属性力的群体行为交互表达模型和粒子轨迹图模型；为了克服传统监控视频数据的不足以表达动作行为的缺陷，提出了深度数据的动作特征描述子。三年中共计发表及录用的文章21篇，其中包括重要的国际期刊（如IEEE Transactions on CSVT，IEEE SPL），顶级的国际会议(如IEEE ICCV、ACM Multimedia、ECCVW)和国内一级学报（计算机学报）；已授权国家发明专利3项，申请国家发明专利2项。