面向暴力行为识别的深度特征联合稀疏表示关键算法研究

Automatic violence recognition from video is a hot and difficulty topic due to its difficulty feature description and small dataset classification. Through combining with deep learning and sparse representation, we can take advantage of deep learning in feature learning and sparse representation in small-sample classification. But most of the existing deep learning algorithms can not deal with complex vector feature with high complexity. On other hand, sparse representation always ignore the sample label information, also optimization models are not easy to solve. Therefore, at the level of application and theoretical research, this project aims to solve the above problems. The main research includes: (1) study the feature representation methods based on spatial-temporal feature of violent behavior, deep metric learning between adjacent layers and cross-layer learning theory, and then build a simplified deep violence network model to solve feature description problem of violent behavior. (2) build the sparse constraint rules of deep network model, study the optimization problem of nonlinear mapping, and solve the small sample size and feature dimension reduction problem by adding the sample label information in the optimization process. (3) study the class-specific dictionary learning algorithm. To encourage the dictionaries associated with different classes to be as independent as possible and add the label information, the representation-constrained term and the coefficient incoherence term are introduced to ensure the learned dictionary to obtain a powerful discriminative ability. Our research will be of great theoretical and practical significance in intelligent monitoring field and model generalization ability.

智能监控下的暴力行为识别存在特征描述难、小样本和分类难的问题。将深度学习与稀疏表示结合，可以发挥深度学习在特征学习上的优点和稀疏表示在小样本分类上的优点。但是现存的深度学习算法大多不能处理复杂的向量特征，并且算法复杂度高，另外稀疏表示会忽略数据的类别信息，模型优化难。针对以上难点问题，本项目主要研究包括：（1）研究暴力行为的时空特征融合算法、深度网络邻接层间的度量机制和跨层学习理论，构建简化的深度网络模型解决以暴力特征描述难问题；（2）构建深度网络模型下的稀疏约束规则，研究非线性映射的优化问题，提出在优化的过程中加入样本的类别信息以解决暴力行为的小样本问题；（3）研究基于特定类的稀疏分类方法，考虑加入使得不同类的字典相互独立的条件和样本的类别信息，提出在原模型中加入表达约束项和系数调整项以解决暴力行为的分类难问题。本项目在推广暴力行为识别的应用及促进网络模型泛化能力方面，具有重要的意义。

本项目发掘了暴力行为识别这一研究热点问题，并抓住了深度学习在特征学习上的优势、稀疏表示在网络约束上的高效性和稀疏分类的鲁棒性等一系列的重要关键问题进行研究。针对暴力行为特征提取难、参数优化难、小样本和行为分类难的问题，本项目确定了研究目标与内容。建立了深度暴力特征网络模型及其优化策略，提出了暴力行为的时空特征融合算法，解决了暴力行为的特征描述难问题。构建了基于深度网络模型下的稀疏约束规则，设计了非线性映射的优化策略，解决了暴力行为的小样本和特征降维问题。设计了基于特定类的稀疏分类算法，完善了字典的学习和优化策略，提高了字典学习能力，实现了对暴力行为的高识别率。1、在公开的Hockey Fight数据上，实现准确率99.3％。在公开的BEHAVE数据库上，达到准确率93.3％。在Crowd Violence数据库上，达到准确率97.1％。实现了暴力行为识别系统的实时监控，达到每秒钟处理15帧。2、在项目实施期间，实现了系统识别算法在硬件系统上的集成。 正在和安全部门合作，实现进一步面向公共安全领域的产品推广。项目实施期间，实现了暴力行为识别系统的现场验证和调试。3、建立了面向安全领域的暴力行为监控系统；申请了专利6项，其中发明专利5项；发表论文15篇，其中SCI论文13篇；完成软件著作权3套。4、推动基于暴力行为方面的技术的开发与应用，打破国外在异常行为识别领域内的技术垄断；为国家公共安全提供决策和保护。 5、完善了深度模型，使之具备通用性，能够应用到其他异常行为识别上。优化算法，使之能够在暴力行为识别系统上实现实时的在线决策。