人体运动稀疏性与流形结构分析的深度核方法研究

Human motion capture (MoCap) data are deemed as fundamental materials for character animation creation. As a new type of media, MoCap data enjoys natively nonlinear sparsity and special Riemann geometric structure. Unfortunately, current methods cannot take full advantage of these intrinsic characteristics, thereby greatly limiting effective analysis and deep reusing of MoCap data. This project aims to explore new theories and approaches of deep kernel learning specifically accommodating to MoCap data characteristics, so the problem of human motion analysis and synthesis based on MoCap data can be solved better. Main works and expected original contributions include: (1) A hybrid quaternion deep network will be proposed, based on which, general purpose deep kernel functions for human pose space will be constructed, which can reflect the inherent nonlinear sparsity and special Riemann geometric structure of human motion. (2) Based on kernel tricks, new optimization models and algorithms will be established for the problems of pose interpolation and MoCap data recovery. (3) Optimization model and algorithm of Sparse Multi-Kernel Slow Feature Analysis will be proposed, based on which stable and slowly varying features for human motion can be extracted, and the problem of MoCap data segmentation can be solved from new point of view. (4) Based on deep temporal convolutional networks, new methods for human motion style transfer will be proposed. The outcomes of the project will provide new theoretical and technical guides for the analysis and reusing of MoCap data, and at the same time, promote interdisciplinary research between multimedia and machine learning.

人体运动捕获数据是人物角色动画创作的基础素材，作为一种新型媒体，此类数据具有天然的非线性稀疏性和特殊的黎曼几何结构，但目前的方法不能充分而有效地利用这些本质性的结构信息，从而制约了对此类数据的有效分析和深度利用。本项目旨在探索适应此类数据特点的深度核学习理论与方法，据此更好地解决人体运动捕获数据的分析与重用问题。主要研究内容和预期创新成果包括：①提出混合四元数深度网络，据此建立姿态空间通用的深度核函数；②利用核技巧，针对姿态插值、运动捕获数据恢复问题，分别提出新的优化模型和求解算法；③提出稀疏多核慢特征分析的优化模型和求解算法，据此提取人体运动的稳定、慢变特征，并从新的角度解决运动捕获数据分割问题；④提出基于深度时域卷积网络的人体运动风格迁移新方法。研究成果将会为人体运动捕获数据的分析与重用提供新的理论和技术指导，并对多媒体与机器学习的跨领域研究起积极的推动作用。

人体运动既是人类智能的重要方面，也是以人为中心的计算机视觉和图形学应用的重要基础，本项目以稀疏学习、核学习和深度学习为技术手段，对人体运动规律开展数据驱动的建模研究。主要研究内容和取得的重要结果包括：①提出基于核学习的球面非线性插值(Snerp)模型，该模型可以在给定的开始和结束帧对之间产生自然的运动，优于作为事实上插值标准的Slerp模型。②为克服人体运动捕获过程中的数据缺失问题，提出适合人体运动恢复的非线性矩阵补全模型，将运动数据嵌入到一个高维希尔伯特空间中，其中运动数据满足低秩性，然后使用低秩矩阵补全来恢复运动。为进一步提升恢复性能，提出深度双向注意力网络，该网络在编码和解码过程中可以建模人体运动的长期依赖关系和前后方向的动作关联，并使用合适的时空信息来有效修复不完整帧。进而，本项目还提出不需要训练的深度生成模型，利用图卷积网络高效地捕捉人体关节的复杂拓扑关系，具有随机初始化权值的未经训练GCN结构，足以提取一些低级统计量并用于人体运动重建，而无需任何训练过程。③提出基于时序核稀疏子空间聚类的运动分割框架，使用测地线指数核对运动捕获数据的黎曼流形结构进行建模，用相关熵代替原本的二阶统计量进行误差度量，用三角约束阻断相距较远的运动帧之间的联系，从而保证分割结果的时序连续性，用多视图重构提取关节间的关系信息。④提出新的无监督人体动作风格迁移方法，利用元网络构建从风格运动序列到变换网络的直接映射，即通过前向传播在元网络中生成相应的运动变换网络，实时生成自然的风格化运动，并且无需对每种风格进行重新训练。⑤提出新的基于图卷积网络的3D人体运动预测模型，在此基础上提出多任务学习模型，能基于非完整历史数据进行准确的3D人体运动预测。这些成果对于众多以人为中心的应用开发具有重要的指导意义。在本项目的资助下，共发表学术论文36篇，其中SCI收录32篇、CCF A类期刊和会议论文8篇，培养5名博士研究生获得博士学位。