基于紧急异常声音事件检测与分类的音频监控系统方法研究

In this project, we select the shopping plaza, station, and square as typical display field,and study audio surveillance system based on the emergency abnormal acoustic events, such as scream sound, cry for help, explosion sound, car carsh sound, glass break sound, and personal alarm sound, detection and classification.We intend to 1) study the feature exaction algorithm combining the auditory and dada-driven; 2) to study the hierarchical abnormal acoustic event detection and classification algorithm based on the target acoustic event and similar target acoustic event; 3) to study the background model adaptation; 4) to study the novelty acoustic event detection and modeling; 5) and finally to propose the parallel implementation scheme for abnormal acoustic event detection and classification. The expected research achievements of this project provide new ideas, new analysis tools and new feature extraction means for audio information processing research. It can not only be used to solve the application problems existing in audio detection and classification, but also be widely used in public security area, and contribute to social harmony and stability.

本课题选择以商城、车站、广场等公共场所作为典型展示区域，研究基于紧急异常声音（如人的尖叫声、呼救声、爆炸声、撞车声、玻璃破碎声、自动报警声等）检测和分类的音频监控系统。1）拟研究结合听觉感知和数据驱动的特征抽取算法；2)拟研究基于目标声音事件和相似于目标声音事件的分层异常声音事件检测和分类算法；3）拟研究背景模型自适应方法；4）拟研究Novelty事件的检测和建模方法；5）拟提出基于图形处理器的异常声音事件检测和分类系统的并行实现方案。本研究的预期研究成果可为音频信息处理提供新的思路、新的分析工具和新的特征抽取手段。不仅可以解决音频检测和分类的应用难题，还可以广泛应用于公共安全领域，有助于社会的和谐稳定。

随着数字音频处理技术的快速发展和视频监控的发展及在应用中的不足，人们对音频监控也提出了较大的需求。基于紧急异常声音检测和分类的音频监控已成为一个非常活跃的研究方向。.本项目选择以商城、车站、广场等公共场所作为典型展示区域，研究了基于紧急异常声音检测和分类的音频监控系统。主要在以下几个方面进行了相关研究：（1）研究了结合听觉感知和数据驱动的特征抽取算法；（2）研究了基于目标声音事件和相似于目标声音事件的分层异常声音事件检测和分类算法；（3）研究了背景模型自适应方法及背景自适应的策略；（4）研究了新颖性事件的检测方法；（5）提出了基于图形处理器的异常声音事件检测和分类的并行实现方案。并取得了一些有意义的研究成果。.首先，在特征表示方面，提出了基于自组织特征映射对音频进行编码的方法。同时在进行编码时，提出了利用N-Competition编码测量进行编码的策略。在特征增强方面，提出了利用长短时记忆递归神经网络进行特征增强的方法。.其次，在音频事件检测和分类方面，提出了基于目标声音事件和相似于目标声音事件的分层异常声音事件检测和分类算法。该算法可以提高基于音频检测和分类的音频监控系统的实时性。在音乐类型的细分类方面，提出了利用“多语言”深度神经网络对音乐类型进行分类的算法；还提出了利用深度神经网络Bottleneck特征和长短时记忆递归神经网络段特征来提高音乐类型分类性能的方法。在新颖性事件检测方面，提出了利用长短时记忆递归神经网络进行无监督的新颖性事件检测方法。该方法利用一段时间内的音频特征输入和长短时记忆递归神经网络编码的输出之间的距离测量自适应的进行新颖性事件检测。.再次，在模型自适应方面，提出了利用CMLLR方法仅对背景模型进行快速自适应的方法，并对背景模型自适应的策略进行了详细的探讨。.最后，提出了基于图形处理器的异常声音事件检测和分类的并行实现方案，并实现了该方案。为了开展该项课题的研究，录制和收集了不同类型的音频片段。这些实验数据的收集和整理，为后续相关研究工作的开展提供了数据支持。.总之，通过该项课题的实施，获得了一些有意义的研究成果，完成了立项时的研究设想。同时，通过该课题的实施，也获得了一些关键的实验数据，积累了在相关方面的研究经验。这些研究成果和数据的获得都具有重要科学意义和现实意义，为以后的相关研究和实际应用提供了重要的研究基础、物质准备和系统准备。