基于时空上下文学习和压缩感知理论的长时稳健视觉跟踪

During long-term visual tracking, the sustained changes of object appearance due to illumination, angle, occlusion and other reasons cause localization errors. The accumulation of these errors will greatly degrade the tracking accuracy and even lead to mission failure. For its significant research value and vast potential applications, robust and efficient long-term tracking has become one of the most challenging topic in computer vision. The main research contents of this project are as follows: (1) To deal with drift problem during tracking, a novel spatiotemporal constrain is proposed for fusion of detector and tracker under the framework of semi-supervised learning. The mutual correction of them will greatly decrease accumulative errors and improve the accuracy and robustness of tracking. (2) In order to solve the contradiction of accurate object representation and real-time tracking, compressive sensing theory is introduced to project the high-dimensional feature space to a lower-dimensional space by using a random measurement matrix. The employment of compressive sensing will dramatically cut down the amount of data for processing and storage and ensure the real-time performance. This project are expected to lay a solid foundation for scene understanding, behavior analysis, content based retrieval and other advanced computer vision applications, the results will produce important theoretical and practical significance.

长时视觉跟踪时，目标外观常常由于光照、拍摄视角、遮挡等原因产生持续变化，由此引起的定位误差经过长期积累使得跟踪精度大幅下降并最终导致任务失败。稳健、高效的长时视觉跟踪是目前计算机视觉领域最具挑战性的课题之一，具有重要的研究价值和广阔的应用前景。主要研究内容有：（1）针对跟踪过程中的漂移问题，提出一种运动目标时空上下文约束条件，在半监督学习框架下实现检测和跟踪过程的有机融合，利用二者输出结果之间的相互修正，在最大程度上减小跟踪误差积累，提高跟踪的准确性和鲁棒性；（2）针对目标描述精确性和跟踪过程实时性之间存在的矛盾，引入压缩感知理论，通过构造随机测量矩阵将高维特征向量投影到低维子空间，在保证足够特征信息的前提下，大幅降低跟踪过程中需要处理和存储的数据量，为算法的实时性提供保障。本项目预期研究成果将对场景理解、行为分析、内容检索等计算机视觉高级课题提供坚实的基础，具有重要的理论和现实意义。

本项目主要针对长时视觉跟踪时目标表观由于光照、拍摄视角、局部遮挡等复杂因素而持续变化导致跟踪结果漂移甚至任务失败的问题开展深入研究工作。在抑制跟踪漂移问题研究方面，针对目标特征提取过程中有效颜色信息利用不足的问题，提出一种基于自适应降维CN颜色空间的目标表达方法，在保持光照不变性的同时，能够保留有效颜色信息；发掘和利用目标的时空运动特性，利用二阶线性运动模型构建观测方程，结合基于朴素贝叶斯二值分类的目标检测策略，提出一种新的融合粒子滤波框架的压缩跟踪方法；为了解决分类器参数更新时的样本污染问题，提出一种基于双S形函数的参数更新模型，自动调节学习速率的大小，增强了算法的鲁棒性；详细推导了包含时间维度的三维图像序列IC L-K跟踪算法方程，提出了多尺度先验误差雅可比矩阵的离线训练方法，能够有效解决快速运动目标的稳定跟踪。在提升跟踪算法的实时性能研究方面，为了剔除CN颜色空间下的冗余颜色信息及噪声，降低后续特征提取运算量，提出一种PCA自适应颜色降维方法，自动选取差异性最明显的2维颜色信息及灰度信息共同表征目标外观；在Haar-like特征的基础上，通过设计多维颜色空间下尺度自适应的随机测量矩阵，构造了基于压缩感知原理的尺度不变矩形特征，可以实现对目标区域较完备尺度意义下的描述，同时大大降低特征向量维度，满足实时跟踪的需要。