单彩色相机多人体无标记运动捕捉方法研究

Multi-body markerless motion capture from a single RGB camera is an attractive scheme for reconstructing the human motions with visual signals. It is one of the hottest topics in the area of computer vision and computer graphics. This project aims to develop the theory and methods of multi-body markerless motion capture, and to reveal the contradictions between the acquisition stabilities and hardware complexities. The goal of this project is to overcome the drawbacks of the complex multi-view camera array as well as the acquisition-limited depth camera, and finally to build a multi-body markerless motion capture platform with only one single RGB camera. The main contents of this project includes: Analyze the structures of the inherent human skeleton-based pose, propose a pyramid fully convolutional neural network and improve the precision of human 2D pose estimation; Build the multi-person image database with labelled 2D silhouettes, propose a cascaded fully convolutional neural network by jointly considering the silhouette and human 2D pose information and discuss the influences between these two factors; Explore the difficulties of estimating the 3D information from single image, propose a uniform time-spatial optimization method for reconstructing multi-body 3D models and accomplish the highly precise multi-body markerless motion capture results without sufficient input information.

单相机多人体无标记运动捕捉基于视觉信号实现多人体运动信息的重构，是国际上本领域前沿研究的热点。本项目致力于发展多人体无标记运动捕捉的理论与方法，揭示多人体无标记运动捕捉系统复杂度与运动捕捉稳定性之间的内在矛盾，突破多视角采集系统复杂以及单深度相机采集范围有限的缺陷，构建单彩色相机多人体无标记运动捕捉的平台与系统。具体的研究内容包括：分析人体姿态节点指向性的内部结构特征，提出金字塔全卷积神经网络模型，提高二维人体姿态估计的精度；建立多人体二维轮廓的图像数据集，提出多人体二维轮廓与姿态联合估计的级联全卷积网络框架，并分析人体姿态与轮廓估计之间的相互影响；探索单相机重构三维信息的不适定问题，提出时空一致性多人体三维模型优化方法，实现欠信息采集条件下的高精度多人体无标记运动捕捉。

无标记运动捕捉基于视觉信号实现运动信息的重构，有着十分广泛的应用，一直受到各类研究机构和人员的关注。以人体运动为特定捕捉对象的多人无标记运动捕捉，需要解决多运动对象之间的复杂遮挡与交互接触难题。建立多人无标记运动捕捉的理论与方法，具有非常重要的意义。此外，多人运动捕捉通常需要较大的运动空间，复杂多视角信息采集系统无法自适应完成大场景多人运动的高精度与全覆盖采集。因此，简化多人无标记运动捕捉所需的硬件要求及系统集成复杂度，实现极简采集条件下的多人无标记运动捕捉也是亟需突破的难点。..本项目致力于解决多人无标记运动捕捉难题，揭示多人无标记运动捕捉系统复杂度、运动捕捉稳定性与精度之间的内在矛盾。项目执行三年期间，克服了新冠疫情等不利影响因素，圆满完成任务书的计划和安排。项目主要研究内容包括：.(1) 针对人体运动捕捉中由于环境多样引起的信息采集难题，提出了低延时、高并发、强便携的户外大场景多人肢体信息采集系统，实现了多相机高帧率同步采集和并发存储。研究数据已累计授权全球百余家研究单位和学者使用。.(2) 针对人体运动捕捉中由于体型多变引起的人体表示难题，提出了UV位置图表示三维人体的新手段，构建了基于UV位置图的遮挡人体重建新框架，显著提升了肢体重建性能。.(3) 针对人体运动捕捉中由于遮挡严重引起的可靠计算难题，提出了相机和人体运动参数的协同优化方法，构建了神经网络表达人体运动物理约束的新范式，获得了稳定可靠的单相机多人体运动捕捉结果。..项目执行期间共录用或发表高水平论文14篇，其中SCI 7篇，EI 7篇（包括领域内顶级会议CVPR、ICCV，顶级期刊IEEE Trans. On Image Processing等）；申请国家发明专利8项，授权3项；开发户外多视点人体运动捕捉系统1套。相关研究成果将服务2022年北京冬奥会高山滑雪，支撑获批国家重点研发计划、国家自然科学基金面上项目，部分成果已转让华为技术有限公司。