基于深度学习特征提取的稀疏表示异常事件检测

This project mainly study the abnormal even detection problem based on the sparse representation of the deep structural motion feature in the crowd scene, which can detect and recognize the events or individuals that different with the normal behaviors. Novel approaches are proposed for high-level semantic feature extraction, visual dictionary training model construction, optimization algorithms and online dictionary update et.al. By using the idea of deep learning, robust features are extracted, which have better expression ability for the high-level semantic and can be more robust for the distortions and large scale movement objects. The Histogram of Maximal Optical Flow Projection is proposed as the descriptor for the construction of dictionary. For the dictionary training, the context information and the nonnegative constraints are considered for the construction of optimization model. Also, separable dictionary optimization algorithm is proposed for the large scale and high dimensional dictionary to reduce the computational cost. Finally, EMD distance is utilized to construct the sparse reconstruction cost function and online dictionary update strategy is adopted to realize the reliable and fast abnormal event detection for both the Local Abnormal Event and Global Abnormal Event.

本项目研究拥挤人群场景下基于深度结构特征的稀疏表示异常事件检测方法，对有别于正常行为模式的人或事件进行检测，起到预警、识别的作用。在高层语义特征提取、视觉词典训练模型及优化求解算法、字典在线更新等方面进行深入研究并提出新的思路。借鉴深度学习的思想，提取对视频帧图像内容高层语义有更好表达能力以及对目标形变和大尺度运动问题更加鲁棒的特征，提出最大投影多尺度光流直方图作为特征描述子；在字典学习方面，考虑上下文信息并引入非负编码系数约束进行建模，对大规模高维字典优化提出分离字典训练的方法，减少计算量；引入EMD距离构建稀疏重构代价函数并对词典进行在线更新。实现监控视频局部异常(Local Abnormal Event, LAE)及全局异常事件(Global Abnormal Event, GAE)的可靠快速检测。

本项目研究拥挤人群场景下基于深度结构特征的稀疏表示异常事件检测方法，对有别于正.常行为模式的人或事件进行检测，起到预警、识别的作用。并围绕异常事件检测相关的理论和智能安防应用展开研究，理论上在稀疏表示、冗余字典构造、低秩矩阵重构模型及求解、深度学习网络结构、度量学习等方面进行了深入的研究。并将这些提出的新理论新算法应用于异常事件检测、图像去噪修复、目标检索、跟踪等。具体包括(1)提出基于紧致系数低秩字典学习的异常事件检测方法、基于最大光流直方图、显著性直方图稀疏表示的异常事件检测等。(2) 针对视频图像中稀疏大噪声、恢复图象结构光滑性等问题，提出了鲁棒广义低秩矩阵分解、结构光滑加权低秩矩阵恢复模型、结构光滑多矩阵低秩分解算法等低秩分解模型。(3)为了提升图像检索或目标重识别的准确性，提出联合多损失函数训练手工特征参与的深度特征嵌入模型、面向特征融合的核度量学习模型、面向近似最近邻图像检索的监督学习索引模型、基于分离码本和特征融合的稀疏表示目标检索等传统和深度学习的方法。(4) 在冗余字典构造上，为了提升字典对图像的表示性能、减少字典训练复杂度，提出了基于斜流形的解析可分离字典学习、基于QR分解的多分离欠定字典学习算法。(5) 为了提升目标跟踪算法对遮挡、姿态变化、形变等问题的鲁棒性，提出了基于多特征和快速尺度自适应核相关滤波的目标跟踪算法、基于双尺度加权结构化局部稀疏外观模型的目标跟踪算法等。本项目的顺利实施为智能安防系统相关应用提供了一整套完备的理论算法，具有重要的理论意义和实践应用价值。