音乐舞蹈视频中音乐-动作片段识别方法的研究

视频人体运动分析由于其复杂性一直是学术界的研究热点。本课题对现有的音乐舞蹈视频资料进行自动分析，提取音乐特征和人体图像特征，分析舞蹈姿态和动作，并形成音乐-动作片段及其摘要，以满足舞蹈理论研究、教学、舞蹈视频检索和自动舞蹈编排等应用的需求。提出一种基于层次结构的音乐情感识别方法，采用乐段、小节和音符分层结构描述音乐特征，并根据乐段特征识别音乐情感；提出一种基于音乐特征的舞蹈姿态估计方法，采用层次贝叶斯网络，底层网络根据人体图像特征估计人体各部位的姿态特征，顶层网络根据人体各部位的姿态特征、音乐特征和舞蹈风格估计总体人体姿态；提出一种基于音乐情感特征的舞蹈动作识别方法，在对姿态序列进行分段的基础上，采用条件随机场，根据人体运动统计特征、音乐情感特征和舞蹈风格识别舞蹈动作，并形成音乐-动作片段及其摘要。最后，建立一个原型系统，对本课题的研究方法进行验证。

本课题的目标是对海量的音乐舞蹈视频进行自动分析，并高效地完成对音乐舞蹈数据的处理。现有的音乐舞蹈识别方法主要采用人体图像特征来描述人的静态表观特征，本课题提出从音乐特征、图像特征、人体姿态和人体动作四个方面对音乐舞蹈视频进行描述和分析。. （1）音乐特征方面，针对MIDI和WAVE格式音乐文件，根据音符特征提取小节特征，并根据若干相邻小节的相似性将乐曲划分成若干独立的乐段，在提取乐段特征后利用神经网络识别乐段情感，最终获得整首乐曲的情感。. （2）图像特征方面，分别提出快速的特征点提取方法、基于图像分解的特征表示方法和基于差值局部方向模式的特征表示方法。为了降低特征点提取算法的时间复杂度高，提出一种快速有效的特征点提取算法；为了有效地描述高维图像中的低维特征，提出一种基于图像分解的特征表示方法；为了有效地降低遮挡、光照变化和姿态多样性的干扰，提出基于差值局部方向模式的特征表示方法。. （3）姿态估计方面，针对人体对称部位的误判问题，提出基于连接关系与对称关系的人体姿态估计方法，在PS模型的基础上，采用以角度关系评价人体下肢结构对称程度的评价方法，并给出了以HSV颜色直方图与SIFT特征来评价上肢和下肢外观对称程度的方法，综合连接关系和对称关系对人体姿态进行估计；针对舞蹈演员在跟踪过程中由于形变较大的问题，对目标区域进行超像素分割，利用图的流形排序算法进行目标的显著性检测，同时为了适应背景以及各种环境因素的变化，根据显著分割结果更新目标检测器。. （4）动作识别方面，针对关节角度或关节点中心距离作为描述人体姿态的特征所存在的局限性，提出一种关节联动特征；针对底层特征不能表示整个动作在时间和空间上的相关性问题，提出了一种提取动作片段间时空上下文特征的方法；为了提高动作识别的准确率和实时性，并且降低计算过程中的计算复杂度，提出了一个基于关键帧的骨架特征的人体动作识别方法。. 在项目支持下共发表论文40余篇，其中SCI一篇，EI十篇，申请专利1项。本课题研究成果可以辅助专业人员对音乐舞蹈视频进行分析，还可以用于自动舞蹈编排。此外，本课题成果对智能视频监控、体育运动分析、辅助临床诊断、人机交互等领域的研究也有相当的借鉴作用。