可见光与红外线双模式视频融合的人体检测技术研究

在军营、监狱、危险辐射环境等场所需要高可靠性的人员入侵检测系统，但一般的单独可见光视频监控往往不能达到要求的精度和响应速度。本项目旨在通过结合可见光和红外线双通道视频信息的互补性，进行快速、鲁棒、准确的人体检测。主要包括以下几个关键问题：首先研究基于无监督学习、自适应性强的无参数运动检测背景模型，克服环境变化、光照变化、背景抖动等影响；其次，研究如何借助双通道信息融合、交叉验证等技术克服单通道检测中遇到的背景相似性、阴影干扰等困难；第三，研究如何融合双通道视频信息建立人体静态形状纹理统计模型，并借助标注数据和统计学习方法建立人体动态行为特征描述模型，通过运动分析排除其他非人体运动的干扰，达到各种复杂场景中高可靠性的人体检测。

本项目以可见光与红外线相结合的快速、鲁棒和准确的人体检测为研究目的，对视频中运动目标检测、双通道信息融合、运动目标跟踪、区域特征提取和人体检测等内容进行了深入的研究。首先，在运动检测方面，提出一种基于混合结构神经网络的背景模型，它包括一个概率神经网络(PNN)和两个赢者取胜网络，网络结构和权重随检测过程动态调整，模型学习速率随视频内容自适应调节，可以很快适应背景或灯光的突然变化。将背景模型推广到可见光-红外线双通道视频中，我们提出一双多通道协作的运动检测背景模型，利用基于融合信息的像素分类和交互验证模型学习达到更高的运动检测精度。其次，在双通道图像信息融合方面，提出一种基于信息熵的多分辨率可见光-红外线图像信息融合算法。融合图像的基带系数由源图像加权得到，权重正比于信息熵。在业界公用的测试图像和测试指标下对多种多分辨率融合方式取得了较好的实验结果。对于双通道视频信息融合，提出一种多阶段的可见光与红外线信息融合算法，通过多阶段融合和形态学运算得到清晰完整的运动目标，包括图像融合、检测结果融合、边缘检测和区域填充。第三，在运动目标跟踪方面，提出一个跟踪与检测交互处理的算法框架，显著缩小了Meanshift跟踪过程中的平均搜索步长，并提高了PNN运动检测中长期静止目标的检测精度。最后，设计实现了一个可见光与红外线双通道视频融合人员入侵检测系统，综合利用双通道信息融合运动检测和形状等信息，达到较高的人体检测率。