多视点视频追踪问题的研究

In this project,we present a novel fuse-before-detect algorithm for multi-view object tracking via fourth order tensor learning.By using several camera views, most of the existing algorithms first detect the various object features for each view and then fuse the data together for tracking.However,this kind of single view foreground segmentation algorithm always suffers from various environmental problems,such as reflection and shadow induced by shiny objects,especially floor and wall.These segmentation errors reduce the accuracy of the multi-view tracking algorithms.In our project,we first fuse multi-view camera data to a fourth-order tensor through multiple parallelized planes projection.An incremental tensor learning algorithm is then employed to perform foreground segmentation in the fused tensor data.By collecting all the information from different views,this approach could restrain the specific environmental effects in each view and give better segmentation results.Then we use the incremental tensor subspace learning algorithm to appearance-based object tracking.A Markov model with hidden state variables is used for motion estimation.An affine image warping is applied to model the object motion between two consecutive frames.Given a set of observed image regions the posterior probability of the object state is formulated by Bayes' theorem.So we capture the appearance characteristics of an object during tracking, and uses particle filtering to propagate the sample distributions over time.Our reseach can make a good foundation for the further study.

在本项目中，我们提出一种先混合多个视角的视频数据，再检测背景和前景信息从而进行目标追踪的多视角目标追踪算法。现在流行的使用数个摄像头视角进行追踪的算法都是先检测不同镜头内多个目标的特征信息进行前景背景分析，然后将得到的信息混合起来进行目标追踪。然而这种在单个摄像头视角内检测信息的方法受环境影响很大，例如发光物体的反射和阴影，以及各个目标之间有无遮挡的情况等。在我们的项目中，首先通过将各个视点的信息投影到参考平面以及平行于参考平面的多个平行平面的投影方法混合各个视角内信息形成一个四阶张量，然后使用增长的张量子空间算法建立背景模型进行前景分割，最后对目标区域应用贝叶斯定律以及粒子滤波等方法来进行追踪，我们将对比现在流行的各种视频追踪算法的结果来验证我们的结论。项目预期我们的方法可以在处理阴影，遮挡，拥挤环境中多个目标的追踪等困难问题上能取得一定的研究成果，为进一步的研究打下一个良好的基础。

为了解决如何在很拥挤的环境下，以及在各个摄像镜头的区域之间有重叠或者没有重叠情形下追踪目标物体的问题，我们提出了一种先混合多个视角的视频数据，再检测背景和前景信息从而进行目标追踪的多视角目标追踪算法。在我们的项目中，首先通过将各个视点的信息投影到参考平面以及平行于参考平面的多个平行平面的投影方法混合各个视角内信息形成一个四阶张量，然后使用增长的张量子空间算法建立背景模型进行前景分割。在对图像进行预处理阶段，我们提出了一类新的凸优化模型用于去除带模糊的乘法噪音。更进一步，我们有提出了使用框架分解和基于l_1范数的L-curve曲线方法对带模糊的乘法噪音问题进行处理。最后对目标区域应用贝叶斯定律以及粒子滤波等方法来进行追踪，连续两帧之间的目标运动使用一种仿射的图像变换来模拟。为了提高运算速度以及增加结果的准确性，项目组计划使用并行算法以及在预测目标运动的阶段引入时间序列分析的方法，目前这些工作仍然在继续进行之中。最后的试验结果表明我们的项目所提出方法可以在处理阴影，遮挡，拥挤环境中的多个目标的追踪等困难问题上能取得比较好的的试验成果，可以为项目的进一步研究打下一个良好的基础。