大场景下多摄像机多目标协同接力跟踪与异常事件预警研究

Concernning with the critical theoretical and technical problems to be solved in video surveillance system, we focus on the research of multi-camera multi-target cooperative relay tracking,abnormal event analysis and early warning forecasting in large and complex natural scenes. The research contents mainly include: (1) the construction of target feature description model with multi-cue fusion based on adaptive block features and target motion parameters(position, direction, speed, acceleration), and the learning and update algorithm of the target feature model during tracking; (2) the multi-target visual tracking algorithm in large scene based on the study of target initialization, multi-target decision theory, association probability model and transfer probability learning algorithm of the entrance and exit zones in the surveillance scene to achieve accurate tracking results particularly under some special circumstances, such as deformation, occlusion and environment variation; (3) the construction of the topology of the multi-camera network in large scene and study the topology learning algorithm; (4) the study of strategies of multi-camera multi-target handoff and cooperative relay tracking in large scene based on spatio-temporal incremental feature matching operator and target feature model inheriting and re-learning method; (5) the study of the abnormal event detection and analysis method based on tracking trajectory and scene sparse representation, and the implementation of abnormal event analysis and early warning forecasting in large and complex natural scenes; (6) the construction of video surveillance prototype system, the experimental verification and development of application systems in the real scene taking human and vehicle as subjects.

针对视频监控系统中急需解决的关键理论和技术问题，研究自然复杂大场景下的多摄像机多目标协同接力跟踪和异常事件分析预警预报的方法。主要包括： 建立基于自适应分块特征和目标运动参数特征（位置、方向、速度、加速度）的多信息融合目标特征描述模型，研究跟踪过程中目标特征模型的学习与更新算法；在研究多目标初始化、多目标决策、监控场景入出口关联概率模型和转移概率学习算法的基础上，研究摄像机多目标跟踪方法，实现多目标在包括变形、遮挡、环境变化等特殊情况下的正确跟踪；构建大场景中多摄像机网络拓扑，研究拓扑关系学习算法；基于时空渐进特征匹配算子和特征模型的继承与再学习方法，研究大场景下多运动摄像机的多目标跟踪交接与协同接力跟踪策略；研究基于跟踪轨迹和场景稀疏表示的异常事件检测分析方法，实现复杂场景下异常事件检测分析和预警预报；以人和车辆为主要对象，建立视频监控原型系统，在实际场景中进行实验验证与应用系统开发。

本课题针对视频监控系统中急需解决的关键理论和技术问题，研究了自然复杂大场景下的多摄像机多目标协同接力跟踪和异常事件分析预警预报的方法。主要完成的研究内容包括：1）建立了基于自适应分块特征和目标运动参数特征（位置、方向、速度、加速度）的多信息融合目标特征描述模型，研究了跟踪过程中目标特征模型的学习与更新算法；2）在研究多目标初始化、多目标决策、监控场景入出口关联概率模型和转移概率学习算法的基础上，研究了摄像机多目标跟踪方法，实现了多目标在包括变形、遮挡、环境变化等特殊情况下的正确跟踪；3）构建了大场景中多摄像机网络拓扑，研究了拓扑关系学习算法；4）基于时空渐进特征匹配算子和特征模型的继承与再学习方法，研究了大场景下多运动摄像机的多目标跟踪交接与协同接力跟踪策略；5）研究了基于跟踪轨迹和场景稀疏表示的异常事件检测分析方法，实现了复杂场景下异常事件检测分析和预警预报；6）以人和车辆为主要对象，建立了视频监控原型系统，在实际场景中进行了实验验证与应用系统开发，证明了所提方法的有效性。.通过课题组人员的努力，圆满完成了计划任务书中的各项研究目标、任务和要求，在《IEEE Transactions on Multimedia》、《IEEE Trans. on Intelligent Transportation Systems》、《Neurocomputing》、《Journal of Electronic Imaging》、《控制与决策》、《电子学报》等国内外高水平学术刊物和国际学术会议上发表了相关学术研究论文31篇，其中SCI收录论文17篇，EI收录论文20篇，产生了广泛的学术影响；授权发明专利8件;培养博士研究生4名，硕士研究生10名, 分别派出两名博士研究生到新加坡南洋理工大学和美国华盛顿大学进行一年以上的合作交流，参加重要国际学术会议11人次，邀请国内外知名专家学者到实验室作学术报告和进行学术交流12人次。