面向稀疏摄像头监控网络的目标视频自动归纳关键算法研究

With the extensive deployment of surveillant camera network, how to automatically extract the object clue from the massive video data is becoming an urgent demand. Aiming to tackle the challenges raised by various objects, high sparsity as well as angle changes in the surveillant camera network, we propose a novel research on automatic object video induction for sparse surveillant camera network. The core idea of the proposed research is, the object clue could be induced with object-specified video summarization and graph generation through the cross-camera trajectory and relationship of objects.　Each stage in this steering procedure has associated new challenge. The project will emphasize on four aspects: 1) how to construct high efficient, accurate and robust generic object extraction and tracking algorithm based on visual prior learning and online feature learning; 2) how to realized cross-camera object tracking by learning angle-invariant feature and integrating spatial-temporal constraint; 3) how to represent and re-configure the topology of sparse camera network, and iteratively optimize the topological reconfiguration and cross-camera object tracking in conjugation; 4) based on the object video from the cross-camera trajectory, how to carry out object-specified video summarization and graph generation so as to depict the object clue. .The proposed project has great potential to provide algorithmic foundation and implementation technologies for social security, anti-terrorism, traffic surveillance, etc

随着监控摄像头网络的广泛部署，如何在采集的海量视频中自动提取目标线索成为亟待解决的问题。针对监控摄像头网络稀疏性强、角度各异、涵盖目标多样等挑战，本项目提出面向稀疏摄像头监控网络的目标视频归纳这一全新的研究课题。项目的核心思想是通过提取目标跨摄像头活动轨迹及关联关系，以目标视频浓缩和目标图谱对目标活动线索进行归纳。这一过程的各个环节都提出了新的研究挑战，为此，项目将重点探索：1） 基于视觉先验学习和特征在线学习，构造高效、准确、稳定的泛目标提取和跟踪算法；2）构造新的角度不变特征深度学习算法，结合时空域约束实现跨摄像头目标跟踪；3）基于有向图进行稀疏摄像头网络拓扑重建，实现与跨摄像头目标跟踪的交替优化迭代；4）构造以目标轨迹和关联关系为要素的目标视频浓缩算法和目标图谱自动生成算法，实现目标线索的浓缩展示。.本项目将为公安、反恐、交通等应用提供算法基础和实现支持，具有重大的理论和应用研究价值

随着监控摄像头网络的广泛部署，如何在其采集的海量视频数据中自动提取目标的活动线索成为亟待解决的问题。针对监控摄像头网络视频稀疏性强、角度各异、涵盖目标多样等挑战，本项目提出面向稀疏摄像头监控网络的目标视频归纳这一全新的研究课题。本项目研究主要包括泛目标提取和跟踪、跨摄像头目标跟踪、稀疏摄像头网络拓扑结构重建以及目标视频归纳四个方面的内容。.（1）泛目标提取和跟踪方面，项目研究了面向泛目标提取的零样本在线特征学习和更新算法，实现无标注的目标的准确跟踪。此外，还针对泛目标视觉特征，从色彩、尺度、多层次等各个角度进行了学习。.（2）跨摄像头目标跟踪方面，先后提出了对偶交换解耦机制和对特征进行解耦的CU-Net，并提出了一种新的多笔触神经风格化迁移技术对训练数据进行了增广，使训练模型能够适应各种不同的场景。进而提出了多模型知识重组以实现对不同视角行人的再识别与关联。.（3）稀疏摄像头网络拓扑结构重建方面，通过对多视角输入图像的研究，提出了一种高效分层置信度匹配的深度空间关系重建方法，并进一步提出了一种基于多视角模型对场景进行联合解析与深度重建的融合框架，在此基础上引入了归因图的概念，以此实现不同视角之间的关联关系推理。此外，从理论方面，对于上述多任务机器学习场景，课题组深入探讨了算法相关的泛化边界。从实践方面，课题组提出通过增强属性方式实现对不同视角之间的选择性无标注关联。.（4）目标视频归纳方面，对目标视频进行归纳需要对目标语义进行多粒度刻画，课题组提出了一个级联式分层语义提取网络Finer-Net解决了这一问题。通过抽取的语义对图像画面进行压缩传递，进而提出了一个基于强化学习的行为驱动视频归纳算法，并按照场景类别对视频归纳进行了适应性优化。..综上，本项目共发表论文36篇，其中IEEE TIP、CVPR等CCF A类论文14篇。申请和授权国家发明专利4项、软件著作权1项，获得2019年中国产学研合作创新与促进一等奖1项。这些研究成果体现了较高的理论和应用价值。