自由视点人体活动识别中的稀疏表达与学习

This proposal will study free-viewpoint action analysis, especially the sparse representation and learning of human actions in arbitrary free viewpoints of ray space. Conventional action analysis methods require that subjects should face the camera from fixed viewpoints, which limit the human action recognition application in the real world. Multi-view recognition approaches use a quantity of 2D multi-view samples for the matching and recognition of limited viewpoint changes. However, those approaches can not directly handle: 1) the sparse representation of free-viewpoint human action and the ray space resampling; 2) the recognition of human action recognition in the real world where the viewpoint can be freely changed. To address these problems, this proposal mainly focuses on three research issues: 1) the free-viewpoint sparse representation of human actions in the ray space; 2) the robust free-viewpoint action synthesis for the light field feature learning of human actions; 3) the recognition algorithm of large-scale free-viewpoint human actions. This research may provide the solution for the challenging light field sparse representation and learning problems of human actions in free viewpoints. The expected research results may inspire applications of free-viewpoint video techniques in human action analysis, and provide theoretical foundations for recognizing actions in 3D media contents.

本项目围绕自由视点活动分析，重点开展人体活动在光线空间(Ray space)中任意自由视点的稀疏表达与学习的研究。传统人体活动分析要求人体朝向摄像机视角相对固定，限制了真实场景中的人体活动识别应用。多视点识别方法通过采集大量的二维多视样本视图对有限视点变化的活动进行匹配和识别。然而，上述方法无法直接应对：1）人体活动的自由视点特征描述及其在光线空间中的自由视点重采样；2）真实场景中视点自由变化条件下的人体活动识别。本项目将针对上述存在的问题，主要研究：1）人体活动在光线空间中的自由视点稀疏表达与光场特征生成机制；2）人体活动光场特征学习所需的自由视点样本的鲁棒合成方法；3）大尺度自由视点条件下的人体活动识别算法。通过本项目的研究，有望突破自由视点人体活动光场稀疏表达与学习的技术瓶颈。预期成果将会促进自由视点视频技术在人体活动分析中的应用，并为三维视频内容中的人体活动识别提供理论基础。

本项目围绕自由视点活动分析，重点开展人体活动在光线空间(Ray space)中的任意自由视点的稀疏表达与学习的研究。传统人体活动分析要求人体朝向摄像机视角相对固定，限制了真实场景中的人体活动识别应用。多视点识别方法通过采集大量的二维多视样本视图对有限视点变化的活动进行匹配和识别。然而，上述方法无法直接应对：1）人体活动的自由视点特征描述及其重采样；2）真实场景中视点自由变化条件下的人体活动识别。本项目针对上述存在的问题，主要研究：1）人体活动在光线空间中的自由视点稀疏表达与特征生成机制；2）人体活动特征学习所需的自由视点样本的鲁棒合成方法；3）大尺度自由视点条件下的人体活动识别算法。.项目负责人资助期间在IEEE Transactions on Circuits and Systems for Video Technology，MVA，ICME，PCM，APSIPA，CCPR等期刊和会议上共发表论文14篇，其中SCI论文2篇，EI论文12篇；参加国际会议3次；参与组织3次国际学术会议：IEEE ICME2014, IEEE ChinaSIP2015, PCM2015，参与组织2次国内学术会议：VALSE2015，CCPR2016；申请国家发明专利21项，授权3项。项目负责人首次提出了利用压缩感知理论进行高动态复杂场景背景建模与重建的像素-模型距离，该距离的提出使得真实场景中的运动区域检测更为快速和鲁棒，为后续视点无关的人体活动识别和分析工作提供了有力的工具。同时，所提出的贝叶斯视频合成算法首次实现了8K全景视频的实时拼接。项目负责人在资助期间参与组织了5次国内外有影响力的学术会议和论坛，其中IEEE ICME是IEEE多媒体领域的旗舰级会议，VALSE是国内计算机视觉领域中青年学者最活跃的论坛之一。通过以上国内外学术会议极大地推动了相关领域的科研合作，促进了同行之间的学术交流。.本项目的研究成果实现了多视点人体活动的稀疏表达、学习与识别。本项目的理论成果还促进了人体活动分析技术在智能家居、安防监控等领域的应用。