基于优化频谱卷积网络模型的鲁棒多目标视觉跟踪关键技术研究

Visual objects tracking has broad application prospect in civil and military field, which is also current research focuses of industry and academia. Multi-object tracking is more practical and more difficult to study than single object tracking. This work takes appearance model and data association as an object of study, which designs a robust feature representation model and multi-object tracking framework with integration of preprocessing step, classification step and tracking. Firstly, the structural feature suitable for multi-objects visual tracking is studied. A novel spectrum convolutional neural network model with efficient computation, which is invariant to changes of object pose, is proposed to learn local and global features by exploring its powerful feature learning ability. Meanwhile, training speed and convergence rate will be optimized by memory gradient method. Secondly, data association for multi-object is studied, which is based on the soft set and random finite set. Bayesian filter is also introduced to reduce association ambiguity. Finally, the technology of object detection and classification is also of importance to guarantee the tracking accuracy. Therefore, high level deep feature and sparse multi-classification model is extended to multi-object tracking framework. This project could provide some thoughts to research contents of multi-object and offer important inspiration and reference for application of deep features.

视觉目标跟踪在民用和军事领域中具有广阔的应用前景，是当前工业和学术界的研究热点。而多目标跟踪是比单目标跟踪研究难度更大、实用性更强的一个重要课题，本课题以多目标视觉跟踪系统中的外观建模和数据关联技术为研究对象，设计鲁棒的表观模型和预处理、分类、跟踪统一的多目标跟踪框架机制。首先，研究适于多目标视觉跟踪的结构特征，提出一种对目标姿态变化具有不变性且计算高效的新型频谱卷积网络模型，利用其强大特征学习能力获取鲁棒的层级结构学习局部和全局特征，并利用记忆梯度法等提高训练速度和收敛速率。其次，基于软集和随机有限集理论研究多目标数据关联问题，引入贝叶斯滤波有效减少关联歧义。此外，跟踪前的检测和分类也是保证跟踪效果的前提。因此，本课题研究将高层级深度特征与稀疏多分类模型有效结合，扩展到统一的多目标跟踪框架中。本项目研究对拓展现有多目标跟踪的研究内容提供了思路，为深度学习在多目标跟踪中的应用提供了借鉴。

视觉目标跟踪在民用和军事领域中具有广阔的应用前景，是当前工业和学术界的研究热点。本课题以视觉目标跟踪系统中的外观建模和深度学习框架优化为研究对象，设计鲁棒的表观模型和预处理、分类、跟踪统一的多目标跟踪框架。. 首先，研究适于多目标视觉跟踪的结构特征，提出对目标姿态变化具有不变性且计算高效的新型频谱卷积网络模型，利用其强大特征学习能力获取鲁棒的层级结构学习局部和全局特征，并利用记忆梯度法等提高训练速度和收敛速率。在新型谱卷积神经网络框架基础上，提出小波池化方法以进一步优化整体框架的特征提取和跟踪算法速度，该方法有效避免池化过程中信息的大量损失同时保留了相对较低的时间复杂度。此后，针对目标检测跟踪中的尺度变化问题，有效利用谱卷积深度网络框架结合尺度相关滤波器提高了该类算法的目标尺度不变性。. 其次，对无线视觉传感器网络数据传输、目标检测和分类进行了研究,将研究的视觉目标跟踪算法应用在无线视觉传感器网络中进行多人目标的识别检测，通过基于自定义记忆梯度追踪算法的无线传感器网络压缩感知技术，有效平衡无线传输的能量消耗、特定带宽类型和最小存储量，保证了长时间、高效率跟踪。. 再次，针对基于检测目标跟踪中的特征描述子Haar-like表征能力不强和易引入错误训练样本导致目标漂移的问题,提出了一种利用分布域描述算子进行示例层级的在线判别特征选择跟踪算法，该算法在光照剧烈和严重遮挡时可以减少漂移现象，跟踪准确率提升明显。此外，对基于软集和随机有限集理论研究多目标数据关联问题进行了探索研究，研究一种基于软集理论的、面向深度学习卷积滤波特征的多假设MHT跟踪方法，利用软集理论中的知识约简和依赖对MHT中假设数据进行精简。. 本项目研究对拓展现有基于深度学习框架的视觉目标跟踪的研究内容提供了思路，为深度学习在多目标跟踪中的应用提供了借鉴，研究的多个算法在跟踪准确度、实时性、鲁棒性等方面与目前主流算法相比均有不同程度提高，后续可工程化应用于视频监考、机器人视觉、无人机巡航等。