基于深度学习的音乐特征学习与分类

Music Information Retrieval is a significant research area, which builds upon music classification as the main working area and key technology. Feature extraction is a crucial step for music classification. Music is basically a complex and delicate signal. Conventional music classification system cannot meet the practical need due to its highly abstract feature. While the deep neural networks can learn the feature automatically through multilayer nonlinear operation, and they are very suitable for music classification tasks. Based on music feature learning and classification of deep learning, the research will enrich the deep learning theory, improve the classification accuracy and expand its practical scope. Our research mainly focuses on: constructing the music datasets, pre-processing the music data, exploiting the novel deep neural networks for music analysis, studying active learning and multitask learning for deep networks, and proposing multitask deep learning algorithm and its application to composer and emotion classification. In addition, we will design and implement a music classification system based on deep learning for experimental evaluation.

音乐信息检索是一个有实际意义的研究领域。音乐分类是音乐检索的主要工作内容和技术手段。音乐分类的关键是音乐特征提取。音乐是一种错综复杂和结构细致的声音信号，目前音乐分类系统的性能难以满足实际需要。音乐特征高度抽象，而深层神经网络通过多层非线性操作，能够自动学习抽象特征，非常适合于音乐分类任务。本项目研究基于深度学习的音乐特征学习与分类，对于丰富深度学习的理论、扩大深度学习的应用范围、提高音乐分类的性能，都有重要的意义。课题具体内容包括：音乐数据库建立和音乐数据预处理；研究适合于音乐分析的新的深层网络结构；研究音乐深层网络结构的主动学习；研究多任务的深度学习网络结构；研究多任务的深度学习的作曲家分类与音乐情感分类；此外，还设计和实现一个用于算法实验和验证的基于深度学习的音乐分类实验系统。

本课题的研究主要分为三个阶段。在研期间实验室分工明确，计划清晰，有条不紊按计划攻克科研难关，切实地按期保质保量完成了科研计划，在科学研究和人才培养方面都取得了一定成果。 .在课题的第一个研究阶段，我们将主要精力放在了研究解决本课题下属的各个子fan问题的基本理论和方法。在本阶段中，我们着重研究了音乐特征学习和分类的基本问题：作曲家分类以及onset detection问题。这使得我们对深度学习在音乐特征学习中的基本性能有了较为全面的了解。在研究音乐数据特性的过程中，我们还对哈西算法、非独立同分布样本序列的在线核学习以及批量核学习等理论问题进行了研究，发现了一批具有理论研究价值和实际应用前景的基础问题并以此为契机提出了若干基础方法研究的成果，对音乐特征学习与分类的理论框架和基本方法做出了积极的贡献。.在课题的第二阶段，我们从整体的理论和方法体系上对音乐数据特征学习问题就行了归纳、梳理和总结性的研究。在理论方法上，我们不仅研究了求解SVM问题的快速割平面方法，还提出了一种新的深度神经网络结构优化算法。其中，前者一直以来都是音乐分类的重要工具，尤其是对目前大数据环境下的大规模快速计算的需求来讲。后者对深度学习在音乐特征学习应用的过程中更具有重要的意义：自动有效的超参数调整算法可以尽可能的揭示深度模型的全部性能潜能，并节省大量的专家调整时间。除了上述理论方法，我们还将深度度量学习用在了音乐数据的相对相似性学习任务上，提出了基于度量学习的数据增广方法以及多尺度音乐标记和场景声音检测网络。.在课题的第三个研究阶段中，我们将已有的用于音乐特征学习的深度学习方法用于更加广泛的场景中，比如“鸡尾酒会”问题，也就是所谓的声源分离问题中。不同于以往的方法，我们在这一阶段提出了音视频匹配与融合的新方法，并在公开数据集上对我们的模型进行了测试。实验结果表明，我们的方法相对以前的方法有明显效果提升，有较强应用潜力。