基于深度神经网络和记忆机制的复杂环境目标跟踪研究

Video object tracking is a very fundamental problem in computer vision field. But it still suffers from difficulties in handling appearance changes caused by illumination variation and different poses of objectsinterferences caused by clustering or similar background and occlusion. This project aims to build models on three kinds of information using deep neural network model: appearance information of object and background, relationships between object and model, motion information. By encoding these information and combining them with memory mechanism using a unified deep learning framework, our schemes could enhance the accuracy and robustness of the model in complex environments. First, we obtain the representations of object and background by encoding frames using a convolutional neural network. Second, we use a recurrent neural network to model relationships between different parts of object and background. Third, we model a short frame sequences whose frames are adjacent in the video using a recurrent neural network to encode motion information and embedding motion codes and vision information codes to the same space; Fourth, to model long-time relationships, we usea memory mechanism to obtain a more complete description for object. This description can be used to remove effects of inference factors such as occlusion and is used to estimate motion states. These research results have important applications and are of great significant on many fields such asvision navigation, intelligent transportation, human-computer interaction and intelligent monitoring.

多数应用场合，跟踪过程通常会发生目标旋转和非刚性形变、杂乱背景和相似背景干扰、光照变化和目标遮挡情况，在这样复杂环景下目标的准确和稳定跟踪仍然是计算机视觉领域的难题之一。本项目拟采用深度神经网络对视频帧中的目标和背景及各部分间的关系、帧间的运动信息编码进行建模和融合；并采用记忆存储机制增强复杂情况下跟踪模型的准确性和鲁棒性。项目首先采用卷积神经网络(CNN)对视频各帧中目标和背景的视觉信息进行编码；在此基础上采用递归神经网络(RNN)对目标和背景各个部分之间的相互关系进行建模，得到外观模型；然后通过RNN网络对已经观察到的、相邻的一段较短的帧序列进行建模，并将运动信息编码与视觉编码投影到同一空间；最后对于长时间依赖关系，采用记忆机制获得物体更为完整的描述，并利用此描述对外观编码和运动编码进行加工，去除遮挡等干扰因素。其研究成果在视觉导航、智能交通和智能监控等领域有着重要的应用意义。

跟踪过程中目标通常会发生旋转、非刚性形变、杂乱背景、相似背景干扰、光照变化、目标遮挡等情况，造成复杂环景下跟踪器容易出现跟踪漂移或丢失目标。项目结合深度网络和长短时记忆，研究目标和背景特征编码、外观模型构建、运动信息编码及其与视觉特征融合、基于遮挡判断的长短时记忆存储机制。.目前基于深度网络的目标跟踪主流算法大多采用CNN网络提取目标特征，因此项目研究了CNN多层特征融合方法、增强CNN特征表达能力和辨别力的方法、融合目标和背景上下文的方法及如何结合目标全局和局部信息的方法。将它们引入目标跟踪框架，解决小目标、遮挡目标的跟踪问题。. 深度相关滤波方法(DCF)外观模型构建的主流方法是采用CNN网络提取第一帧中目标区域的深度特征，在后续帧根据上一帧目标中心位置选取感兴趣区域，再采用不同的策略构建和更新外观模型。项目围绕DCF算法，采用多尺度滤波器、尺度自适应滤波器构建模型，通过对模型在线更新解决RNN网络对当前帧和历史帧信息的利用问题。提出了尺度自适应的外观模型、多个尺度自适应滤波器的外观模型、基于上下文信息的外观模型，同时提出了基于自适应网络更新频率的更新策略和基于目标分块的反馈式更新策略。对复杂场景中目标快速运动、大的形变有较好的效果。. 运动信息的引入可以利用视频中的时序信息，提高外观模型的表达能力。项目在粒子滤波框架下，对运动速度进行编码，然后与视觉特征融合。在孪生网络框架下，提出一种基于光流和动态级联RPN的目标跟踪框架，用动态RPN的堆叠结构解决RNN中时序信息的构建问题。但实验过程中发现增加单独分支提取运动特征，然后融合视觉特征对跟踪性能提升不大，但是堆叠的动态单元可以很好地利用时序信息。. 目标在不同帧表现出的特征不相同，记忆不同帧的特征可以利用历史信息提高模型表达力。针对该问题，提出了基于PSNR和有效局部极大值的遮挡判断算法、基于双向轨迹的遮挡判断算法；然后提出基于遮挡判断的自适应调整的长短时记忆模型，并嵌入跟踪框架，对复杂场景中快速运动目标、形变、相似物干扰有较好的效果。.在以上研究基础上，构建了基于深度网络和记忆机制的目标跟踪框架，并与当前主流算法的跟踪性能进行对比。研究成果应用在智慧停车系统，解决路边停车位的车位状态检测、车位和车牌的关联关系等场景，降低智慧停车系统的施工和人员成本。