分布式多摄像头目标跟踪外观建模研究

Occlusion has become a major challenge for visual tracking, especially in the crowded scene. Traditional single camera based visual tracking could not solve this problem well due to the limitation of pan/tilt. To solve this problem, in this project, the multi-camera target feature fusion based appearance model is studied for robust visual tracking when adjacent cameras can share target appearance with each other. The innovations in this project include: Firstly, a multi-layer convolutional sparse coding based appearance model is proposed to explore the deep structure in multi-view appearance fusing result to resist adversarial examples. Secondly, a spatial-time based multi-view state fusing method, which can explore the state relation in successive slots to alleviate the disturbance caused by multi-view state variations, is proposed to ensure that the trajectory estimation result can assist the updating process in appearance model. Thirdly, a Bayesian model is proposed to solve the camera selection problem. This project is important for the multimedia information processing with artificial intelligence.

人流密集场景下的动态遮挡是目标跟踪面临的最大挑战。单摄像头目标跟踪由于拍摄视角受限并不能很好解决这一难题。对此，本课题考虑摄像头密集分布且彼此交互外观或状态目标特征信息的监控场景，探索多摄像头目标特征互补融合方法以构建外观模型，实现动态遮挡下准确目标跟踪。主要研究内容和创新点包括：构建外观模型时，借鉴多层卷积稀疏编码理论，探究多视角外观特征融合结果深层结构，提升外观模型对对抗样本的鲁棒性；为保证运动轨迹准确性以协助外观模型更新，本课题深入挖掘多视角状态特征历史数据与当前数据的关联性，提出基于空时相关性的多视角状态特征融合方法，抑制摄像头状态数据差异性造成的干扰；为排除无效视角对外观融合的干扰，进一步提升外观建模可靠性，本课题构建贝叶斯图模型，从概率统计角度实现邻近摄像头的选取。项目研究对多媒体信息智能化处理发展具有重要的意义。

人流密集场景下的动态遮挡是目标追踪面临的最大挑战。为应对上述挑战，本课题紧紧围绕分布式多摄像头联合目标跟踪外观建模这一主题展开研究，通过有效联合编码充分挖掘多源摄像头采集数据间冗余互补性，提升目标跟踪在人流密集复杂监控场景下的鲁棒性。课题的主要研究内容以及创新包括：为克服分布式多摄像头观测数据的结构差异，借助multi-view learning 思想以及稀疏表示理论，构建基于多视图特征融合的联合稀疏表示优化模型。通过联合稀疏编码，充分挖掘运动目标多种异构外观特征间潜在关联性，实现多源数据互补增强；提出基于逆稀疏表示的协同编码方案，将原本独立的三个任务：逆稀疏表示、特征抽取和多视角关联分析，统一到两目标联合优化框架中，在最大-最小优化博弈中寻求各个任务的折中。此方案可有效解决红外以及可见光摄像头联合监控中尚未有效解决的难点：当红外以及可见光目标都被严重遮挡且只有极少外观特征可用于互补融合时，如何有效挖掘局部有效信息实现鲁棒性外观表征；提出基于小样本的多源特征可靠性离线学习模型，通过最小化多目标联合稀疏误差，调节特征分类的类内以及类间差异，自适应过滤出被遮挡目标的有用信息，弥合有效信息在不同视角特征中的表征差异；将分布式多摄像头监控场景中的独立摄像头所涉及的跨层联合特征抽取建模为关联分析问题，在探究不同卷积层、不同卷积通道语义特征相关性基础上有效消除冗余信息干扰，使跟踪器外观建模更专注于与运动目标密切关联的语义特征信息。所取得的研究成果有助于为重特大突发公共安全事件防控涉及的多摄像头协同信息提取及分析提供理论以及技术支撑。