基于骨骼运动估计的三维表面恢复研究

高速激光扫描仪、三维深度视频相机的发展和成熟，引发了计算机视觉领域的革命，使得三维视觉成为未来计算机视觉发展的主要方向。尤其在运动捕获、动漫、医疗、智能输入、物联网环境下异常事件监测等领域中，应用和发展三维视觉技术成为当前研究的热点。三维采集设备获取的对象表面点云数据通常有大量的噪声和无效数据，或因遮挡或环境光照存在数据缺失现象。这些问题的存在，导致三维点云数据难以直接应用，必须通过表面恢复进行处理。本项目研究运动物体的骨骼运动模型、约束及序列特征。从而对点云骨骼做出运动估计，通过骨骼匹配，建立三维点云数据的空-时对应关系，去除噪声数据，恢复缺失点云并重建形体表面。本项目的研究内容，将很大程度上促进三维计算机视觉更好的服务于国民经济和人类生活。

随着高速激光扫描仪、三维深度视频相机的发展，利用三维扫描仪或深度摄像头捕获对象物体的三维信息，进而利用三维信息进行分类、识别、估计或决策，成为当前计算机视觉领域研究的热点。然而，由于三维扫描仪及深度摄像头采集对象信息受限于一定的视角，使得无法得到对象物体完整的点云信息。如何从含有大量噪声，并且不完整的三维点云中，恢复对象完整且纯净的点云数据，也即表面恢复是目前三维视觉中的难点。尤其在不引入额外的标记点或参照物的前提下，解决这一问题，对三维视觉领域的发展起到显著的推动作用。本项目于2012年获国家自然科学基金（青年科学基金项目）资助，先后提出了不受环境光影响的结构光三维点云采集算法，其能够大大提高结构光解码精度，并保持高实时性，同时该方法不易因受环境光影响而产生错误，具备较高的鲁棒性；提出了一种基于超级块的点云语义分割算法，该算法具备较高的分割及识别精度。从而能够较好的从复杂场景中分割出背景点云，从而得到人体运动数据，并为基于上下文的人体运动估计提供了先验信息；提出了一种基于样本一致性的点云匹配算法，为融合多数据库用于人体形体模型参数化训练提供了条件，其所获取的融合数据库，具备较好的参数化表示能力，能够在较小的PCA空间下获取精细的形体数据，并由此建立了目前全世界最大的人体形体数据库；提出了在存在大规模运动、目标着衣环境下，人体运动及形体捕捉算法。其核心在于利用多维度约束信息，估计人体运动参数及形体参数，并利用空时信息，去除衣物影响。该方法较当前已有算法在精度上有很大改进，同时，能够在无需目标配合的情况下，实现人体形体参数测量，正在实现非侵入式形体捕捉，在高噪声环境下完成了人体形体估计的表面恢复。本项目所发表成果为推动我国三维采集、三维运动捕捉、三维点云分割及识别、动态场景语义分析、三维形体估计等领域的技术发展有着较大的理论指导作用。