基于分布摄像机的目标跟踪与行为分析若干关键问题研究

视频监控是公共安全的重要技术保障，出于扩大监控范围与节约成本的目的，摄像机多为分布式安装，视域重叠或不重叠情况共存。监控智能化是解放人力，提高监控及时性和有效性的必然途径。目标跟踪与行为分析是其核心问题之一。本项目从分布式环境下目标及其行为的多模态特点出发，研究其中涉及摄像机间信息融合的以下关键问题：网络拓扑估计与互标定、目标匹配、协同跟踪及融合多摄像机信息的行为分析。在摄像机网络拓扑估计中结合重叠视域检测，建立混合的网络拓扑表达。针对目标表观多变的特点，基于流形泛化学习研究目标不变特征表达方法。利用群组匹配的思路解决因严重遮挡而难以准确分割目标和匹配跟踪的问题。对目标行为进行局部行为与全局行为的层次表达，融合多视图、多特征，实现目标运动的多模态刻画。预期的研究成果包括10篇以上高水平论文，申请2项以上发明专利，并建立一套成果演示系统。相关成果将可直接应用于提高分布式视频监控的智能化水平。

视频监控系统中摄像机多为分布式安装，本项目从这一特点出发，对目标跟踪与行为分析的关键问题进行研究，包括目标匹配与跟踪、摄像机网络拓扑估计与互标定、跨越及融合多摄像机信息的动作与行为分析。项目执行过程中，始终围绕研究目标按计划进行，针对其中的重点问题进行集中攻关，取得了一些有特色和一定影响的结果。具体成果反映在已发表的12篇论文，已授权及已公开各1项发明专利中，培养了一批博、硕士研究生，使他们理论联系实际，发现、分析和解决科学问题的能力在实践中提高。.不同摄像机之间，特别是无重叠视域的情况下，目标表观往往存在显著变化，目标匹配成为跨摄像机目标跟踪的关键。我们提出一种结合结构化稀疏表达和多分辨率显著性加权直方图的方法，显著提高了目标匹配识别的准确率。注意到稀疏表达在目标匹配识别中的鲁棒性，我们对此专门展开了深入研究，提出一种基于空间重要性加权和遮挡检测的鲁棒稀疏编码。该方法显著提高了稀疏表达的鲁棒性，例如在受遮挡的AR人脸数据集上准确率相对于文献提高达到3.6%~9.6%。该工作发表在CCBR 2013上，并获得最佳学生论文奖励。在此基础上，对受到遮挡、腐蚀等的目标稀疏编码残差建立基于拉普拉斯-均匀分布的混合模型，并提出一种重加权局部线性优化方法，极大提高了目标匹配与识别的鲁棒性。在受到90%腐蚀的EYB人脸图像上，识别准确率从已知最高的68%提升至93.8%。该研究成果揭示了鲁棒稀疏编码中残差分布的合理模型。.针对多摄像机环境下的动作与行为识别问题，我们借鉴机器翻译思路构建视角间迁移关系，提出跨视角动作分类的统计模型，在IXMAS数据库上，平均识别率较已发表方法提升3.7%~6.8%。进一步提出基于松弛化对数似然比的视觉单词转移概率估计方法，刻画视觉单词间关联显著性，并结合EM方法，在跨视角动作识别中相对于现有方法准确率提高0.6%~11.1%，而融合多视角的动作识别准确率提升2.8%~7.7%。该工作以Regular Paper发表于IEEE Transactions on Circuits and Systems for Video Technology。我们还提出一种Dual-Codebook模型，生成不同视角下具有对应关系的视觉词汇码本，并采用一种多时间尺度的分层迁移框架，使不同视角下的动作具有相似的稀疏表达，进一步提高了跨视角动作识别的准确率。