通用时序逻辑表达下的视频时空行为理解研究与应用

Traditional methods of video analysis lack of explicit representation of temporal information, which makes the rich temporal relationship couldn't be fully explored. Based on the general expression of temporal logic for video event description, this proposal mainly research the task of behavior understanding including feature extraction and motion representation, behavior recognition and high-level behavior understanding. In view of the existing characterization methods considering only spatial and simple temporal features, this proposal researches the spatial-temporal characterization which contains the rich temporal information. Thinking that events are always ambiguity themselves, this proposal studies a soft clustering method to learn the generated trajectories and then divide them into multiple possible event classes. On this basis, temporal pattern is modeled for video event with empty time-series and without calibration though temporal pattern mining, then the rich temporal structure and temporal dependencies among behaviors are mined to enhance the spatial detection. Finally, the probabilistic model is adopted to achieve correspondence-free behavior understanding with complex scene in multi-camera networks with arbitrary topology and eventually achieve the abnormal detection in both spatial and temporal level.

传统的视频分析方法在视频的时序信息表达上缺乏明确的表述，这使得视频中丰富的时序关系无法得到充分的挖掘。本项目在通用时序逻辑表达描述视频事件的基础上，主要研究包括特征提取与运动表征、行为识别、高层行为理解几个基本内容的行为理解。针对现有事件表征方法仅仅描述了空间特征和简单的时序特征，本项目研究包含丰富的时序信息的时空特征表征，并针对事件本身具有模糊性的特点，研究基于软聚类的运动轨迹学习方法，将轨迹划分到多个可能的事件类中。在此基础上根据轨迹的时空特征，通过时序模式挖掘来实现无需事先标定的并能处理空事件的时序建模的方法，来挖掘视频行为中的丰富的时序结构和时序依赖性，并以此来增强空间识别效果。最后采用概率模型的方法，完成随意拓扑结构的多相机网络复杂场景下、无需轨迹匹配的行为理解方法，最终实现时空两个层面的异常检测。

本项目在通用时序逻辑表达描述视频事件的基础上，围绕视频时空特征理解，重点研究基于视频时空特征挖掘的运动目标检测。提出一系列时空一致性的运动目标检测方法，并将单模态运动目标检测研究衍生到多模态问题上并提出跨模态一致性的运动目标检测算法；围绕随意拓扑结构的多相机网络复杂场景下、无需轨迹匹配的行为理解问题，重点研究人和车在非重叠相机网络下的重识别问题。提出一系列行人和车辆重识别方法；围绕监控相机下的目标运动轨迹的时空特征，重点研究视频运动目标跟踪问题。探索了面向固定监控视频、枪球联动监控环境和多模态监控环境下的目标跟踪算法；最后在面向时空两个层面的监控视频智能分析与异常检测方面，理论上重点研究了基于几何边缘随机结构图的图像表示和匹配，应用上重点实现了多尺度光照估计和层次化分类的衣着颜色识别、基于卷积神经网络的监控视频人数统计算法和基于运动目标轨迹优化的监控视频浓缩方法并成功应用与产学研开发项目。本项目研究工作按项目计划书执行，项目进展顺利，超额完成预期目标和任务。发表论文22篇，其中SCI检索7篇（其中JCR二区论文4篇），EI检索11篇（其中2篇为CCF推荐C类国际会议论文，1篇荣获国际会议SERA2017最佳论文）；发表论文中13篇为第一作者或通讯作者（第一作者招收研究生）、14篇论文为本项目第一标注；授权国家发明专利1项；参加国内外重要学术会议和相关学术研讨会12次；邀请国内外知名专家来访10次；组织相关学术论坛和活动6次；作为硕士研究生导师招收研究生10名；参与指导课题组硕士研究生5名；与中国科学院自动化研究所联合指导硕士研究生2名。