基于压缩感知的高精度实时视觉跟踪方法研究

As one of the classical problems in computer vision, visual tracking is of great significance in both theory and applications. Since video data is usually huge, and meanwhile the target appearance is prone to change during the tracking period, visual tracking is also one of the most challenging problems in computer vision. This program focuses on the visual tracking method based on compressed sensing (CS). By exploiting the undersampling ability of CS, it aims to reduce the heavy burden in computation and memory incurred by extremely huge video data; meanwhile, by modeling the target appearance using sparse recovery, it tries to improve the robustness of the tracker to appearance variations. Specifically, the program first investigates the generation and implementation method of the CS measurement matrices that are tailored to the requirements of visual tracking, thereby endowing the measurement matrix with the ability to taking account of both computational complexity and feature stability. Secondly, the program develops the model that can achieve joint sparse representation and dictionary optimization for target appearance. Based on this model, it deals with target appearance variations via dynamically updating the sparsifying dictionary during sparse recovery. As a consequence, the degradation of tracking accuracy caused by appearance variations can be eliminated or mitigated. Furthermore, under the framework of Bayesian inference, the program solves the joint sparse recovery and dictionary optimization problem corresponding to the above model. By doing so, it can avoid the degradation of tracking accuracy incurred by inaccurate setting of algorithmic parameters, and at the same time strengthen the automation characteristic of the tracking procedure.

作为计算机视觉领域的经典问题之一，视觉跟踪具有重要的理论与应用价值。由于视频数据规模巨大，且目标外观易于发生变化，视觉跟踪也是计算机视觉领域最富挑战性的问题之一。本项目研究基于压缩感知的视觉跟踪方法，通过压缩感知的欠采样能力减小由大规模视频数据带来的沉重计算与存储负担，同时利用稀疏恢复对目标外观进行建模，提高跟踪器对于外观变化的鲁棒性。具体地，本项目研究适应于视觉跟踪需求的压缩感知测量矩阵的设计与实现方法，由此提高测量矩阵兼顾计算复杂度与特征稳定性的能力。其次，本项目发展目标外观的联合稀疏表示与词典优化模型。基于该模型，通过在稀疏恢复过程中动态地更新稀疏表示词典来处理目标的外观变化，从而消除或减轻由外观变化引起的跟踪精度恶化。同时，本项目在贝叶斯推理框架下求解基于上述模型的联合稀疏恢复与词典优化问题，从而避免因算法参数人工设置不准确而引起的算法精度下降，同时提高跟踪过程的自动化水平。

视觉跟踪是计算机视觉领域的经典的问题之一，具有重要的理论与应用价值。本项目研究利用压缩感知提高视觉跟踪精度与效率的途径，研究进展与结果可概括为下述几个方面。首先，建立了更为鲁棒的目标外观稀疏表示模型，该模型在稀疏表示过程中对目标特征向量的不同部分赋予不同权重，从而使各部分对稀疏表示的贡献不同。由此，当目标发生部分遮挡时，上述稀疏表示模型可为被遮挡像素分配较小权重，从而弱化被遮挡像素在稀疏表示中的影响，提高跟踪算法对于部分遮挡等非理想因素的适应能力。其次，针对已有跟踪方法难以设置L1范数正则化参数这一问题，提出一种基于变分贝叶斯推理的目标外观稀疏表示模型求解算法，该算法能够自动地同时估计稀疏表示系数与其他未知的模型参数，因此基于该算法的跟踪器对不同场景具有更强的鲁棒性且需要的用户干预较少。同时，针对实际中目标观测数据可能包含野值的情况，建立了一种改进的子空间模型，该模型利用一个块稀疏向量来描述野值。在变分贝叶斯推理框架下，课题组提出一种能够恢复上述块稀疏向量的算法。利用这一向量，野值可以被检测并剔除，从而子空间表示可在无野值观测数据上实施。基于上述策略，课题组给出一种新的跟踪算法，该算法对于每一帧视频图像只需进行一次稀疏恢复，从而算法的计算量大为降低。另外，课题组开展了对于视觉显著性目标检测方法的研究，以期提高基于显著性目标检测的视觉跟踪方法的性能。为解决目前基于稀疏表示的显著性目标检测算法中存在的边界模糊、词典表达能力不够等问题，提出一种基于稀疏恢复与优化的显著性目标检测算法。该算法利用超像素分割构建稀疏表示词典，采用基于聚类的优化模型对利用稀疏恢复生成的初始显著图进行优化，并通过多尺度融合得到最终显著图。实验结果表明该算法在处理边界显著性方面表现良好，且其性能优于目前主流的非训练类算法。同时，课题组研究了基于深度学习的协同显著性检测方法，提出一种通过利用“局部预测与全局优化”策略来提高显著性检测性能的新算法。在局部预测阶段，该算法通过一个深度卷积网络来捕获协同显著目标的感知特性并在语义层面对显著性区域进行预测；在全局优化阶段，上述算法利用一个统一的协同显著性优化模型来实现不同图像之间局部显著性的传递与共享。实验结果表明，上述算法相对于传统方法在显著性检测精度与速度方面均表现出明显优势。