面向静态图像行为识别的混合特征学习方法研究

Action recognition, one of most important components for social public security and establishment of smart city, is a popular yet challenging research topic in pattern recognition and computer vision. Action recognition includes video based-and static image based-action recognition. Static image based action recognition becomes particularly important when video sequence is missing. However, the performance of state-of-the-art static image based action recognition approach is not satisfactory. In this project, we will investigate static image based action recognition using deep learning and conduct the follow works: (1) Model the traditional feature extraction methods using end-to-end architecture of deep learning for action recognition based static images for static image based-behavior recognition; (2) Study the hybrid feature learning model by fusing traditional handcraft feature representation and deep learning based feature representation; study end-to-end network architectures for static image based-action recognition; (3) Build a deep learning framework for small data sets for static image based action recognition; (4) Build a transfer learning model of video to static image, learning hybrid static-dynamic features for static image based action recognition. Investigation of this project are expected to input new knowledge to the area of action recognition, enrich the theory of feature learning, and improve the performance of action recognition for intelligent video analysis and smart city.

行为识别是保障社会公共安全的重要手段和建设智慧城市的重要部分，是当前模式识别和计算机视觉领域的研究热点和难点。行为识别包含基于视频的行为识别和基于静态图像的行为识别。在视频缺失等情况下，静态图像行为识别显得尤其重要，当前静态图像行为识别效果不尽如人意。本项目拟借助深度学习方法，面向静态图像行为识别问题，进行以下研究：(1)构建基于端到端学习方式的传统特征提取方法，用于静态图像行为识别；(2)融合传统手工特征和深度学习特征，融合端到端网络架构用于静态图像行为识别；(3)构建适用于小数据集的深度学习框架,用于静态图像行为识别；(4)构建视频序列到静态图像的迁移模型，学习静态动态混合特征，用于静态图像行为识别。本项目拟在国际上发表高质量学术论文，且主要成果生成发明专利；通过本项目的研究，将显著推动行为识别研究和丰富特征学习理论；提升行为识别效果，为社会公共安全和智慧城市服务。

行为识别是保障社会公共安全的重要手段和建设智慧城市的重要部分，是当前模式识别和计算机视觉领域的研究热点和难点。行为识别包含基于视频的行为识别和基于静态图像的行为识别。在视频缺失等情况下，静态图像行为识别显得尤其重要，当前静态图像行为识别效果不尽如人意。本项目借助深度学习方法，面向静态图像行为识别问题，开展了以下研究：(1)构建了基于端到端学习方式的传统特征提取方法，用于静态图像行为识别；(2)融合了传统手工特征和深度学习特征，融合端到端网络架构用于静态图像行为识别；(3)构建了适用于小数据集的深度学习框架,用于静态图像行为识别；(4)构建了视频序列到静态图像的迁移模型，学习静态动态混合特征，用于静态图像行为识别；(5)设计了一系列基于深度学习框架的行人检测、目标检测和关键点检测方法；（6）设计了一系列基于Transformer的人体姿态估计方法；（7）2020年春节期间，团队通过昼夜奋战突击开发了“非接触式智能精准测温筛查系统”，直接服务于抗“疫”一线。通过本项目的研究，推动了行为识别研究和丰富了特征学习理论，发表了高水平论文；提升了行为识别效果，为社会公共安全和智慧城市服务。