基于仿生相机的实时连续人体动作识别

In practice, applications such as smart surveillance, robotics or autonomous driving require cameras to record video streams continuously and vision algorithm to perform real-time temporal action detection in such long streams. To achieve this, the computer vision system must simultaneously predict both the temporal interval and the category of the actions while they occur in long video streams. However, it remains challenged and is a key research topic for long-term activity analysis, since that untrimmed long video often can be highly unconstrained in space and time, and can contain multiple action instances plus background scenes, thus resulting in a higher computational cost for feature extraction. The project employs a bioinspired camera (Event-based Vision Sensor) to form a new continuous action recognition framework. We can obtain a lower sensing latency while the bioinspired vision sensor has the potential to outperform conventional frame-based vision sensors in terms of redundancy suppression, higher dynamic range, higher temporal resolution, and power efficiency. We propose new paradigms of image processing and vision algorithm for such bioinspired vision sensors. Basing on the new paradigms, a single stream temporal action proposal network is proposed to generate temporal action proposals in real-time in a single pass, achieving action recognition continuously in very long input video sequences. The project aims to apply a new bioinspired camera to build a set of new theories and algorithms for real-time continuous action recognition, benefitting the development of intelligent human-machine interaction and long-term complex activity analysis in vision scene.

在视频监控、智能机器人和自动驾驶等现实应用场景中，要求相机能够连续记录视频并实时地识别视频中一系列人体动作和行为，这就需要视觉算法能够实时地同时进行动作边界检测和动作类型识别。然而，连续人体动作识别由于其视频背景复杂、连续且时程长、特征计算复杂度高等特点，仍然是一项非常挑战的研究问题，也是场景复杂行为分析理论亟待解决的关键问题。本项目拟提出一个基于仿生相机视觉感知的连续动作识别新框架。得益于该仿生相机的稀疏性、低时延、低功耗、宽的动态范围等拟人类视觉特性，本项目首先拟从感知端解决场景视觉信息捕捉的实时性和有效性，并提出适应于该相机的图像处理和视觉算法。在此基础上，研究提出实时的单向动作推荐神经网络，通过单次向前的视频特征计算产生动作实例推荐，实现长视频中动作序列实时检测与识别。本项目旨在利用新型传感相机，提出一套全新完整的实时连续动作识别理论和算法。

在视频监控、智能机器人和自动驾驶等现实应用场景中，要求相机能够连续并实时地识别视频中一系列人体动作和行为。然而，人体动作识别由于其视频背景复杂、连续且时程长、特征计算复杂度高等特点，仍然是一项非常挑战的研究问题，也是场景复杂行为分析理论亟待解决的关键问题。本项目提出了一个基于仿生相机视觉感知的连续动作识别新范式。首先从感知端解决场景视觉信息捕捉的实时性和有效性，建立了一套基于新型仿生相机的视觉感知系统。基于此新型视觉系统，研究组开发提出了一系列面向仿生相机的图像处理和视觉算法。其次，针对人体动作的特征表示与提取，研究了基于人体姿态的动作特征表示方法，并有效应用于复杂跨视角场景的人体动作识别。最后，结合仿生相机的图像处理与视觉算法，基于人体姿态估计的研究基础，探讨高速及低光照场景下的人体动作识别问题，显著提高复杂环境下的人体连续动作识别的准确率和鲁棒性，可有效部署在实际应用场景中。本项目通过此新型仿生传感相机的研究，提出了一套全新完整的仿生相机视觉算法，开拓了基于仿生相机的视觉应用研究新方向，构建了一套全新的基于仿生相机的实时连续动作识别理论与算法，促进了仿生相机的稀疏信号处理中关键问题的解决。项目研究成功斐然，共发表高水平学术论文21篇，其中国际知名期刊12篇，包括IEEE汇刊8篇，其中5篇机器人顶级会议文章，1篇计算机视觉顶级会议文章，培养博士研究生7名，其中已毕业5名，在读2名，硕士研究生1名；组织国内外专家来项目组交流6人次，参加国内外会议9人次，特邀专题报告3次；申请美国发明专利1项；项目投入经费63万，各项支出基本与预算复合，剩余经费将用于本项目后续研究支出。