引入情绪认知脑机制的音乐情绪分类检索关键技术研究

目前在基于内容的音乐检索技术中，情绪这一高级语义内容被作为分类检索的特征，开始受到越来越多的关注；但却鲜有引入人类认知机制的研究尝试。本项目结合当代音乐认知研究的成果，应用认知神经科学的方法（fMRI，EEG，心电，皮电），进一步探讨音乐情绪认知机制并建立认知模型；并结合基于内容信息检索技术中的特征提取、特征匹配和分类算法，建立一种能够体现人类思维特点的音乐情绪分类检索模型和方法。本项目的成果除了可以应用到机器作曲和人机互动的研究中，也对音乐教育和音乐治疗有积极作用。很明显，本项目的研究，一方面对推动基于认知机理的计算模型及应用技术的发展具有重要科学意义；另一方面，开展具体的音乐分类检索算法研究，对于推动基于内容的多媒体和跨媒体检索新方法的革新发展，具有重要学术价值；还可以将提出的模型应用到图像和视频分类检索的算法研究中去，从而大幅提高计算机对信息的理解能力和处理效率，具有重要的实用价值。

本项目以人类大脑认知机制研究为基础，将认知研究的结果应用到基于内容的音乐检索技术中，达到对音乐情绪这一高级语义内容的分类检索方法进行研究的目的。在以往的基于内容的检索研究中，鲜有引入人类认知机制的研究尝试；本项目应用认知神经科学的方法，进一步探讨了音乐情绪认知机制；并以此为基础结合基于内容信息检索技术中的特征提取、特征匹配和分类算法，建立了一种更接近人类思维特点的音乐情绪分类检索模型和方法。..在本研究中，我们首先根据音乐的基本特征建立了音乐情绪表达的特征向量，将音乐的基本要素音高，节奏，旋律，音色，调性等特征提取后，组成了对情绪的表达特征式。同时根据心理学理论提出的二维情绪空间，将音乐按照效价和唤醒度组成的空间划分成不同的情绪表达类别，建立了人工标注的音乐库。以此为基础，使用认知神经科学和认知心理学研究的手段，借助电生理的实验方法，对这些特征对音乐情绪的影响进行了深入研究，对他们对音乐情绪的影响和相互之间的关系有了进一步的认识；以此为基础对音乐情绪特征向量的表达进行了调整和改进。同时，在实验中我们还发现了一些以前没有注意的问题，如“熟悉度”的影响问题，并进一步进行了实验，把熟悉度也做为情绪表达的一个纬度，放到了特征空间中，最终建立音乐认知模型。..完成特征提取和认知模型的建立以后，我们以此为基础，利用改进的线性分类算法来完成音乐情绪的分类检索研究。由于我们的音乐情绪分类是在二维（唤醒度，效价）空间下完成的，因此我们使用两个二值分类器来完成情绪的分类。在考虑计算量和线性数据空间下稳定性的前提下，我们使用了线性分类器来进行分类检索的工作。同时我们还采用了交叉生效（cross-validation）的策略来避免过度学习的问题。..通过本项目的研究，部分成果除了可以对基于内容的音乐检索技术提供新的思路，还可以把音乐检索的方法应用到其他的视觉媒体检索技术中；对未来的进一步探索音乐情绪认知的研究提出了一些借鉴和参考。另一方面还可以进一步将研究结果应用到机器作曲和人机互动的研究中；研究中发现的对音乐认知机制的相关成果，也对音乐教育和音乐治疗产生积极的作用。..总的来说，本项目的研究，一方面对推动基于认知机理的计算模型及应用技术的发展具有重要科学意义；另一方面，开展具体的音乐分类检索算法研究，对于推动基于内容的多媒体和跨媒体检索新方法的革新发展，具有重要学术价值。