基于深度学习条件随机场的多目标跟踪方法研究

The application of deep learning is restricted in the field of Multi-Object Tracking (MOT) due to challenges, such as unknown and time-varying number of targets, lacking of training data, etc. This project will focus on Structured deep learning which has the desirable properties combining both Convolutional Neural Networks (CNN) and Conditional Random Fields (CRF). A MOT method is proposed in a true end-to-end manner by fully exploiting CNN’s learning and inference abilities, and the presented technical framework is helpful in data association task with uncertain number of labels and the related application area. The main contributions are as follows: (1) Modeling of Multi-Object Tracking. Based on CRF graphic model, the MOT problem is formulated as a binary labeling problem. The realizability of neural networks is also taken into account. (2) Designing CRF potentials. CRF potentials are designed in neural networks framework. To generate effective loss function, we utilize the CNN’s powerful feature representation and learning, the structural property of trajectories in the spatiotemporal domain, as well as the prior knowledge of tracking. (3) CRF inference. CRF inference is conducted by Projected gradient descent algorithm, which can be easily formulated as the Recurrent Neural Networks (RNN) in a sequential processing manner. Consequently, both the CRF parameter learning and inference are unified within the framework of neural networks.

多目标跟踪目标个数不确定、训练样本数不足等问题，制约了深度学习在多目标跟踪领域的应用。为此，本项目拟采用结构化深度学习思路，将卷积神经网络（CNN）、条件随机场（CRF）优势相融合，充分挖掘神经网络的学习与推理功能，在真正意义上设计出一种端对端多目标跟踪方法，为类别个数不确定的数据关联问题及相关应用提供技术支撑。主要内容包括：（1）多目标跟踪建模：将多目标跟踪问题转化CRF图模型下的二元类别标定问题；（2）CRF势函数设计：利用神经网络强大的中高层特征学习能力、目标轨迹在时空域中的结构特性及先验知识，设计适用于神经网络实现的CRF势函数，构建有效的类别损失函数；（3）CRF推理：采用递归神经网络RNN的序列处理模式，提出基于投影梯度下降的CRF状态推理策略及实现方式，将CRF参数学习与推理统一嵌入到神经网络框架中。

多目标跟踪目标个数不确定、训练样本数不足等问题，制约了深度学习在多目标跟踪领域的应用。本项目针对深度学习在多目标跟踪领域应用存在的困难，将结构化深度学习思路引入到多目标跟踪领域开展相关研究，充分发挥深度学习和条件随机场优势。主要包括：.（1）借助神经网络强大的表达学习能力，在深度条件随机场框架下开展多目标跟踪理论研究与实践。提出了基于深度条件随机场的多目标跟踪问题描述，将CRF中势函数学习及状态推理形式化为神经网络可实现形式，以端到端学习方式实现了深度CRF理论下的多目标跟踪。具体而言，针对多目标跟踪多线索特征表达学习问题，本项目设计了基于深度学习的多模融合学习策略；针对CRF势函数构建，提出了时空域相关性势函数建模策略；针对深度学习需符合可微可导建模特征以满足反向传导的可行性，设计了递归神经网络模型架构下的CRF状态推理。在MOT公开数据集MOT15、MOT16、以及MOT17上的测评结果表明该研究工作取得了领域领先水平。.（2）受端到端深度条件随机场有效性启发，本项目进一步探索基于图卷积的多目标跟踪方法，提出了一种基于图匹配的在线多目标跟踪算法。通过构建适用于多目标跟踪问题的图匹配模型、设计卷积网络可实现形式的图表达学习架构、提出基于递归网络迭代的图模型推理策略，以端到端的方式实现了图理论下多目标跟踪。该方法在实验中取得了较好效果。.本项目探索了深度条件随机场模型、图卷积模型下的多目标跟踪问题，取得了较高水平的研究成果，为基于深度学习的特征表达和多模态特征融合、建模运动目标时空域相关性、条件随机场/图模型状态推理等问题提供了新的思路和技术路径。本项目工作对视觉任务中的结构化数据建模研究具有重要的参考意义。