基于集成流形学习的监控视频中人体行为识别研究

The human body is non-rigid with complex structure. Human motion is a complex motion system. In addition, behavior recognition is very challenging because of the pace and style diversity of human motions, messy background, occlusion and illumination variance. Human motion analysis has broad application prospects, and has a huge impact in lots of areas, such as intelligent video surveillance, medical research and human-computer interaction and so on. This project aims to adapt manifold learning and ensemble learning for human behavior analysis. The main idea is to use basic, simple and local motion manifold structure elements, which form a library of human motion manifold elements, to express complex human behaviors. First extraction methods of low-dimensional manifolds embedded in high-dimensional human motion structure will be studied. Then the ensemble learning method to obtain the dictionary of human motion manifold elements will be researched. The description of human behavior using motion manifold elements will be researched. At last, the human behavior analysis based on ensemble learning and the dictionary of human motion manifold elements will be studied, which can integrate multifaceted information for analysis of human behavior. Abnormal human behavior recognition system based on the video surveillance system will be implemented, which can be used as the application and verification platform for the human behavior modeling method based on the library of human motion manifold elements. Project research will further extend the theory and application of human behavior recognition.

人体是结构复杂的非刚体，人体运动是一个复杂的运动系统；此外，运动节奏和风格的差异性，杂乱背景，遮挡和光照变化等，都使得运动人体行为识别具有非常大的挑战性。人体运动分析研究具有广泛的应用前景，在智能视频监控，医疗研究和人机交互等领域中有着巨大影响。本项目拟运用流形学习和集成学习技术对监控视频中运动人体行为识别进行研究，提出基于人体运动流形基元库，使用基本的、简单的和局部的运动流形元素来表达和构造复杂行为的思想。首先研究视频空间行为表示到流形空间的映射模型，然后研究运用集成学习技术得到人体运动流形基元库的方法。在此基础上，研究基于人体运动流形基元库的行为表示方法。最后研究基于集成学习与人体运动流形基元库的，能融合多方面信息的人体行为识别算法。建立基于视频监控系统的异常人体行为识别系统，为理论研究成果提供应用和验证平台。项目的研究将进一步完善运动人体行为识别研究的理论与应用。

人体是结构复杂的非刚体，人体运动是一个复杂的运动系统；此外，运动节奏和风格的差异性，杂乱背景，遮挡和光照变化等，都使得运动人体行为识别具有非常大的挑战性。人体运动分析研究具有广泛的应用前景，在智能视频监控，医疗研究和人机交互等领域中有着巨大影响。本项目运用流形学习和集成学习技术对监控视频中运动人体行为识别进行研究，从图像特征和视频特征表达到显著性区域提取，从视频目标跟踪到动作识别模型取得的成果如下：提出了使用多级空间视觉词典集体表达图像特征，以及融合多种不同特征的改进VLAD动作视频表达及编码方法。提出了基于KL散度及多尺度融合的显著性区域检测算法和基于分割集成的行人检测方法。在视频目标跟踪方面，提出了像素点特征加权的尺度自适应跟踪算法、密集特征加权跟踪算法、基于集成多示例学习的Mean Shift跟踪算法、带权分块压缩感知的预测目标跟踪算法、融合多特征的加权分布跟踪、结合背景信息的自适应加权压缩跟踪算法和结合运动矢量的分块加权快速压缩跟踪算法。利用集成学习思想，提出使用多个动作姿势模板，融合多姿势估计特征的静态图像动作识别方法。提出了基于人物肢体伸展程度分析的视频动作分割方法。提出流形度量学习方法用于视频动作识别，有监督地学习流形空间中度量方法，提高同类间的聚合度，加大不同类别之间的差异，从而达到提高动作分类的效果。利用深度学习，提出了跨层融合与多模型投票的动作识别模型、时空压缩激励残差乘法网络的视频动作识别模型和串流深度视频动作识别网络模型。项目研究中形成的新模型、方法和技术有利于提高视频行为和动作识别的准确性和适应性，对于监控视频中的人体行为识别具有重要的意义。