音频事件检测技术研究

With the fast growing multimedia data from people’s daily life, it’s becoming urgent to establish an effective content-based representation framework and design efficient algorithms to quickly detect user-defined events. The audio event detection, which can extract event-related descriptions from given audio signals, is the key technology for quick acquisition of information and effective data management. Though the work of event detection for simple component audio data has achieved great success, the research of more complex and general audio data is just at the beginning. The classic and commonly used machine learning techniques cannot detect complex audio events accurately due to its poor consideration on internal semantic structure of audio data. . In this project we will conduct the research on content-based audio event detection technologies with audio data collecting from various practical scenarios. The proposed framework is first to research hierarchical representations for audio signals, then construct the content-based audio dictionary and explore the semantic structure hidden in audio signals, finally study the semantic unit identification and the audio event detection algorithms based on deep learning models. The key scientific problem of this project is the semantic expression of the audio signals and corresponding machine learning techniques. The research of this project has significant value to the understanding and utilization of general audio data.

面对海量的音视频数据，如何对内容进行快速有效的解析与表示，并建立满足实际需求的事件检测框架已变得极为迫切。音频事件检测技术能够从音频信号中直接提取人们关心的事件信息，是数据有效管理和信息快速获取的关键技术。针对音频成份单一的简单音频事件检测技术在国内外发展相对成熟，而面向音频成份更为丰富的复杂音频的研究工作则刚刚起步。经典的音频事件检测方法,由于未显式考虑音频内在的语义结构，难以对复杂的音频事件进行准确的检测。本项目以各类现实生活场景中的实际音频作为研究对象，研究复杂音频的事件检测问题，主要包括音频信号的层次化表示，基于内容挖掘的音频词典构造和音频语义结构发现，以及基于深度学习的音频语义单元识别和音频事件检测算法。音频信号的语义表达以及相关的机器学习问题是本项目探索的关键科学问题。本项目的研究对复杂音频内容的理解和使用具有重要价值。

听觉是人类非常重要的信息来源，音频事件检测技术可以使机器自动提取、分析和有效利用真实环境中的长时音频信号，对大规模音频数据的存储和检索以及智能家居、智慧城市的建设，都有重要的研究和实用意义。本项目以城市音频场景为主要研究对象，从音频信号处理和音频序列建模两方面出发，研究了以神经网络为基础的音频事件检测相关技术和方案。.本项目的主要工作包括以下几个方面：1）以公开的国际测评比赛为依托，收集了涉及到音频场景分类和视频分类的多个公开数据集，建立了信息完备的用于研究音频事件检测技术数据资源；2）探索了神经网络方法在传统的音频信号处理流程中能够发挥的作用，在频域滤波器组设计、频谱的时域相关性和时域信号声学建模三个子问题上进行了深入研究，本项目提出的时域信号处理模型既为端到端音频事件检测的搭建提供了可能，也适用于其他音频信号处理领域的时域信号建模。3）探索了音频序列建模中的神经网络方法，针对音频场景中常见的时移形变干扰、音频场景数据量不足以及当前神经网络方法对音频序列建模能力不足的问题进行了研究，本项目提出的时间转移模型、随机跳帧模型和基于记忆注意力机制的长短时记忆模型在多个数据集上都取得了一致性的性能提升；4）搭建了端到端的音频事件检测模型，并通过实验分析端到端模型在音频事件检测任务中的性能和效率，为实现实用的音频事件检测系统提供可能。.本项目针对音频事件检测中的音频信号处理和音频序列建模两个部分，分别进行了基于神经网络的算法研究，并成功搭建起端到端的音频事件检测模型，比传统方法取得了明显的性能增益。相关研究内容对丰富音频事件检测算法，扩大神经网络在音频事件检测中的应用范围，以及神经网络算法本身的迭代更新，都有积极的促进作用。