基于小样本学习和多模态融合的人群行为识别研究

视频内容分析和视频监控在日常生活及军事等各领域正发挥着越来越重要的作用。而人行为识别技术是视频内容分析和视频监控的关键技术。本项目拟结合申请人在行为识别和事件检测方面的前期研究工作以及模式识别和机器学习理论的发展趋势，分别从识别模型的构建和训练等方面对行为识别领域中的几个重要问题提出解决方法，主要体现为：（1）提出基于有限训练样本的模型训练方法，突破在训练样本不足的情况下难以构建良好识别模型的限制（2）提出新模型架构和算法来解决在多层次及成员人数可变情况下组群行为的识别问题（3）提出基于多模态融合的方法来进一步提高识别的准确率。目前，人行为识别的研究工作在国内外仍处于理论探索阶段，能用于实际应用的仍然很少，对于作为本项目研究重点之一的多人组群行为的识别问题，现阶段国内外的研究更是只处于起步阶段。因此本项目的研究成果将提高我国行为识别的基础研究水平，同时为实际应用提供新的理论依据和可行算法。

视频内容分析和视频监控在日常生活及军事等各领域正发挥着越来越重要的作用，而人行为识别技术是视频内容分析和视频监控的关键技术。本项目结合申请人在行为识别和事件检测方面的前期研究工作，分别从识别模型的构建和训练等方面对行为识别领域中的几个重要问题进行研究和探索。主要体现为：（1）提出新模型架构和算法来解决针对多层次及人数可变组群行为的识别问题，（2）提出基于有限训练样本的模型训练方法，突破在训练样本不足的情况下难以构建良好识别模型的限制，（3）提出基于多模态融合的方法来进一步提高识别的准确率，（4）提出新的特征提取及目标描述方案从而更有效地表征视频中的目标。本项目综合了机器学习、特征提取、模型训练等多个领域的研究进展，对人行为识别领域中的几个关键问题提出了有效解决方案，基于本项目的研究成果在本领域顶尖期刊和会议上发表了多篇论文，为行为识别技术的实际应用和理论研究提供新的思路和可行算法。