基于高鉴别性模型匹配的人体三维运动跟踪方法研究

基于单目视频的人体三维运动跟踪研究具有重要的应用价值，能够广泛应用于智能监控、人机交互、虚拟现实以及医疗诊断和体育运动分析等领域。基于模型的人体运动跟踪作为该研究领域中的一个重要方法，具有跟踪准确性高的特点，但是存在两个不足：1）模型匹配相似性度量函数不够准确；2）高维姿态空间搜索量大，跟踪速度慢。本项目致力于提高模型匹配的精度及速度，通过恢复模型和模型投影之间的射影变换以及选择高鉴别性的特征来提高匹配精度，结合自顶向下方法及自底向上方法，通过空间降维以及在跟踪过程中采用层次化搜索策略来提高匹配速度。研究内容包括：基于运动学的人体模型构建，基于模式分类的人体模型自动初始化方法，基于特征跟踪与模型匹配的人体三维运动跟踪方法，高鉴别性模型构建及匹配方法。本课题研究可以解决基于模型的单目视频人体三维运动跟踪方法中的关键问题，同时为图像检索、人脸跟踪、立体视觉匹配及基于内容的视频编码提供新思路。

对照项目研究计划，研究基于单目视频的人体三维运动跟踪。主要研究内容包括：目标视觉特征提取，二维运动目标跟踪，人体三维姿态提取，三维人体运动跟踪。主要成果：提出了一种利用深度神经网络进行目标先验视觉的表示方法，该先验特征能够对目标精简表示，使得目标跟踪更鲁棒；提出了一种隐式动态模型粒子滤波的二维运动目标跟踪方法，该隐式动态模型能够克服显式动态模型在无规则运动中预测效果差的不足；提出了一种基于二维图像关节点进行三维人体姿态提取的方法，该方法可以精确提取强透视投影下生成图像的三维人体姿态；提出了一种基于多模板配准的人体上半身三维运动跟踪方法，可以克服单一模板由于遮挡而无法配准的缺点；提出了一种结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法，充分利用模型匹配与特征跟踪的优点，提高了跟踪的速度及精度；提出了一种重新初始化粒子滤波进行人体上半身运动恢复方法，当出现跟踪漂移时，粒子集由匹配特征点重新初始化，因而可以进行长序列人体三维运动跟踪。