基于概率隐变量模型和深度信息的人体运动与体形估计研究

In the daily environment, human motion capture has wide range of applications, including the natural human computer interaction. Due to human difference, motion complexity and its ill-posed nature, this kind of technology is a highly interested research topic. Real-time makerless human motion estimation is the research goal of this proposal. By being fully awared of the influence of human body shape to the accurate motion estimation, we study the nonlinear dimensionality reduction algorithm by using probabilistic latent variable model (PLVM) and employ it to learn human motion and body shape model. To be specific, we will develop the multi-variable based PLVM for mutli-factor large number motion data; and propose a shared PLVM by incorporating correlation relationship for sparse multi-modality human body shape data. Besides the monocular visual observation, we introduce depth information. The efficient probabilistic sampling-based inference algorithm will be proposed to estimate motion and shape jointly in the real-time fashion. Using Kinect, we will implement a markerless motion estimation system as the demostration. Moreover, the research on various PLVM can be applied on other pattern recognition problems like target and face recognition which have complex high dimensional data.

日常环境中准确的人体运动捕捉具有非常广泛的应用前景，包括自然地人机互动等。由于人体各异性、运动复杂性和观测中的遮挡和信息丢失等问题，这项技术一直是研究难点。针对单目无标记人体运动捕捉的问题，本项目充分考虑到人体体形模型对精确运动估计的影响，深入研究概率隐变量模型的理论和算法，并基于此分别建立低维人体运动和体形模型。具体来说，对海量多因素的运动数据，提出概率多隐变量人体运动模型及其在线增量学习算法；对双模态稀疏采样的体形数据，提出共享双模态概率隐变量人体体形模型。通过融合视觉和深度双观测数据，利用高效的概率采样推理算法，实时地进行运动和体形的联合估计。此外，在理论技术研究的基础上，利用Kinect完成一个示范性的实时无标记人体运动和体形估计系统。同时，本项目提出多种概率隐变量模型的理论和方法，可以推广到其他复杂高维数据的模式识别问题，如目标识别、人脸识别等问题。

准确地捕捉日常生活中的三维人体运动数据具有非常广阔的应用前景，包括机械制造、智能机器人、电影动画制作、医疗诊断、体育训练、自然人机互动等。由于实际场景中的复杂性，并且人体运动的高自由度非刚体特性，人体运动估计一直是非常具有挑战的研究课题。目前主流的三维人体运动估计需要借助多个摄像头和穿戴式人体标记点，这样的设置限制了人体运动估计向实际应用中拓展。.为了实现基于视觉的无约束式人体运动估计，本项目主要从三个方面进行研究。首先，从视觉采集设备上，我们采用体感摄像头同步采集深度及彩色数据，提出基于多模型神经网络的数据融合及目标分割，为下一步的跟踪和识别提供了良好的基础。其次，我们深入研究概率隐变量模型的理论和算法，对深度及彩色双观测数据在人体运动分析上进行了深入讨论，分别提出两个先进的算法框架，“双层概率隐变量模型”及“双隐变量概率模型”，有效地利用概率隐变量模型对高维复杂人体运动数据进行低维建模，基于此实现了准确的人体运动三维跟踪和估计。这两个算法框架取得了非常好的效果，达到了国际领先水平并发表高水平论文。最后，我们将双观测模型及人体建模的思路拓展应用在指尖及手部跟踪上，成功地实现实时跟踪及识别。同时，我们利用该项技术提出一个“空中手写”的示范系统，让用户以指尖为笔，实现无接触式的任意输入模式。该系统具有先进性和实用性，多次在国内外会议及展会上进行展示和报告。本项目资助下共发表4篇SCI论文（1篇2区论文，3篇3区论文），5篇EI国际会议论文，申请4项发明专利，培养多名硕士博士生。.本项目的研究成果，从技术上，我们可以将概率隐变量模型拓展应用于手部运动跟踪与识别，人脸姿态估计与识别等多变量运动跟踪与估计中。从实际应用上，人体及手部运动估计可以被用在医疗、教育和娱乐等领域，尤其是在人机交互方面会有非常广泛的应用前景。