4D人体活动理解中的稀疏表达、建模与学习

This project proposal will study 4D human activity undertanding, especially spatio-temporal-depth based feature represenation, skeleton modeling, geometry constraints, and sparse coding representation.Traditional 2D human activity recognition in real world faces big challenges, such as viewpoint changes, occlusions, clustered background, thus resulting in degrading the performance of object recognition. Toward this end, we will study the following issues: (1) 4D feature representation and selection, skeleton modeling for human activity; (2) Geometric constraints for 4D human activity features; (3) Free-Viewpoint human activity modeling and nonlinear subspace learning; (4) Robust sparse coding representation for human activity understanding and its efficient implementation; (5) Validating and Demo platforms. This research will provide the framework of sparse represenation, modeling and learning for human activity understanding. Moreover, we will achieve significant advancements on human body skeleton modeling, free-viewpoint activity modeling, geometric constraints, and robust activity recognition, which could befinite human gait estimation, and natural user interface.

本项目围绕真实世界的4D人体活动理解，重点开展基于时间-空间-深度信息的人体活动特征描述、骨架建模、几何约束、稀疏识别框架等问题的研究。传统2D活动识别方法在真实世界中感知并识别关节化的人体形状遭遇巨大挑战，如视点变化、遮挡、背景复杂，因此导致了存在的活动识别方法在真实世界的识别性能下降导致应用受到较大限制。本项目针对上述存在的问题，主要研究：（1）4D人体活动特征的表达与选择和骨架建模；（2）4D人体活动特征的几何约束问题；（3）真实世界视点无关的人体活动建模与非线性子空间学习；（4）鲁棒稀疏编码描述的人体活动理解框架及其高效实现；（5）验证和演示平台。本项目将形成真实世界4D人体活动理解较为完整的稀疏描述、建模和学习的理论框架，在人体活动骨架建模、视点无关的活动建模方法、几何约束问题、鲁棒活动识别方法等方面取得突破性进展，为人体运动功能评估、自然用户接口提供方法和相应技术。

本项目围绕4D活动特征描述与选择和骨架建模；4D 人体活动特征空间的几何约束描述；真实世界视点无关的人体活动建模与非线性子空间学习；鲁棒稀疏编码描述的人体活动理解及其高效实现算法等展开了一系列研究，并搭建验证和演示平台。.依托本项目资助，研究团队成员在PR、ISA Transactions、JVCI、SP、IJPRAI、TCSVT、ICME、PCM等国际杂志和学术会议共发表SCI论文8篇，国际会议论文6篇；出版专著1部；授权国家发明专利9项，申请国家发明专利6项；培养博士研究生2人，硕士研究生4人。发表稀疏描述基础理论研究论文《Sparse Representation and Learning in Visual Recognition: Theory and applications》，该论文在Science Direct数据库统计的2005-2016年计算机领域中国作者的高下载论文榜单（Top 5）上榜，下载次数超过6000次。针对目标识别中的特征学习问题，提出了一种新的鲁棒弹性网方法。针对4D 人体活动特征描述与选择，提出一种新颖的基于彩色图和深度图的联合特征学习方法和一种基于3D稀疏量化的高效人体活动特征提取算法，并建立了第一个3D老人数据库。针对4D 人体活动特征空间的几何约束问题和骨架建模，提出一种中轴距离度量方法，并建立人体骨架轮廓数据库。针对真实世界视点无关的人体活动建模与非线性子空间学习，提出图像到类的动态时间规整算法和像素到模型的复杂场景下运动特征的提取算法。搭建人体活动识别平台2套，可应用于多媒体智能交互、媒体娱乐、公共安全等领域。.通过本项目研究，将人体活动的描述、建模和学习统一在4D 框架下进行特征描述和选择、骨架建模和推断、全局几何对应、视点不变的活动建模，以及鲁棒稀疏编码描述的活动识别等任务。稀疏描述、建模和学习作为基本理论对上述任务提供理论基础。相关研究成果可应用于运动训练、康复工程、人机工效学、游戏与动画制作、安全监控等领域，具有重要的科学研究价值。