RGB-D视频序列特征的深度学习模型及在人体行为识别中的应用

Confronted with the meet of accuracy and robustness human action recognition, we will make a proposal about human action recognition based on deep learning theory and methods. By using RGB and depth video information, our proposal aims to overcome some essential feature representation dificulties while variations of pose, illumination and appearance feature. We discard the approach building classifiers based on complex handcrafted features computed from the raw inputs, and propose using unsupervised feature learning as a way to learn features directly from video data. This project mainly centres on the following critical issues: (1)the method of depth video image denoising and quality improvement,(2)the deep learning model of multi-level action feature based on RGB-D video information,(3)multimodal deep learning model fusing RGB and depth video information,and (4)human action recognition method with the multimodal deep learning representation model. A human action recognition computing model will be established under a complicated condition such as variations of pose and illumination. Eventually we establish a human action recognition system fusing depth and RGB video information, which validates the effectiveness of proposed theory and algorithm.

面向RGB-D视频环境下人体行为准确、鲁棒识别的应用需求，针对行为序列多光照难识别，行为外观多变化难描述，行为特征多层次难提取等核心问题，拟借助RGB、深度视频等感知信息，利用多源异构信息时空相关性和互补性，通过深度学习的理论和方法，发现并提取人体行为特征。尤其研究深度视频图像的去噪和质量提升方法；基于视频序列的人体行为特征的深度学习模型；发展融合深度视频和RGB视频信息的人体行为多模态特征的深度学习模型；建立基于深度学习表示模型的人体行为识别方法。探索人体行为识别的计算模型，解决传统人体行为特征表示手段的局限性，实现人体行为姿态、光照变化等复杂条件下人体行为的有效识别。最终实现一个原型系统：姿态、光照变化条件下融合深度、RGB视频信息的人体行为识别系统，以验证本项目提出的理论算法的有效性。

大部分已有的人体行为识别方法本质上利用预先定义的行为特征进行识别，并且对光照、外观变化等较敏感。本项目面向RGB-D视频，从学习多源数据的人体行为特征出发，首先搭建了面向行为分析的数据采集平台，采集并处理了多源异构行为数据；提出了RGB-D数据的张量表示，并研究了张量数据的若干降维方法，实现了RGB-D视频的降维表达；研究了RGB-D视频人体行为特征表示与分析；利用多源异构信息时空相关性和互补性，通过深度学习的理论和方法，提出了RGB-D（张量数据）视频的深度学习模型，该模型避免了传统模型中将数据向量化的过程，更好地保持其空间结构信息；提出了基于乘积流形的多模态信息的融合方法，实现RGB和深度数据的融合，同时也探讨融合深度视频和RGB视频信息的人体行为多模态特征的深度学习模型。.本项目以基于RGB-D视频的行为分析与理解中的关键基础问题为重点，以学习新的特征表示方法为目标，在研究视频特点的同时，发展新的特征表示、融合、分析理解方法。本项目的成果不仅对RGB-D视频的研究具有重要意义，而且能够发展具有一般意义的相关理论方法。.经过四年的努力，已全面完成计划的各项任务。在国际、国内期刊发表(含已录用)论文24篇，其中国际期刊论文14篇（SCI刊源12篇），国内期刊论文4篇；在本领域的主流国际会议上发表论文6篇。申请国家发明专利7项，其中授权3项。培养硕士、博士研究生7名。