基于二型模糊概率图模型的多摄像头目标跟踪研究

多摄像头环境下的目标跟踪与关联是实现智能视频监控的关键，对保障公共安全及实现城市智能化具有重要意义。目前其研究主要集中于有重叠视域的多摄像头跟踪，非重叠视域才刚刚起步。.由大量摄像头组成的网络形成了一个图，课题将结合概率图模型，并针对现有方法对光照变化、遮挡以及目标外表特征相似等敏感导致的数据不完整性问题，提出将二型模逻辑与概率图模型融合的跟踪方法。.研究内容及创新点体现在：1）背景建模。提出MRF与二型模逻辑结合，对非稳定背景建模；2）目标建模。融合视觉注意模型，运用Graph Cuts自动分割运动目标，提取其不变性特征，通过LDA建立起目标的外观模型；3）节点间建模。将多个节点看成图，基于上下文的MRF概率模型及其推理方法实现节点间目标关联和持续跟踪。4）针对视频网数据，研究概率图模型运用于目标跟踪过程中的推理和学习算法，提高推理效率及推理的准确性。

多摄像头环境下的目标跟踪与关联是实现智能视频监控的关键，对保障公共安全及实现城市智能化具有重要意义。尽管摄像头网络可以获得大量的视频信息，但对这些信息进行分析和相关事件预测还远远不够。如何合理有效的利用这些呈网状结构分布的多摄像头捕捉的复杂环境中的图像数据，实现对异常行为的分析和跟踪成为当前研究热点。.本项目针对现有方法对光照变化、遮挡以及目标外表特征相似等敏感导致的数据不完整性问题，提出将二型模逻辑与概率图模型融合的跟踪方法。研究内容包括：1）鲁棒动态背景建模，提出引入二型模糊的混合高斯背景建模方法、融合块级和像素级的混合高斯背景建模、基于MRF的背景建模方法等；2）不变性特征提取与描述，构建图像的SIFT特征描述，运用Graph Cuts自动分割运动目标，提取其不变性特征，通过狄利克雷分布（LDA）建立起目标的外观模型；3）基于主题建模的场景分类，提出扩展的Knowledge-TMBP模型等；4）大数据在线学习方法，以海量数据和流数据为研究对象，提出了基于概率潜在语义分析（PLSA）模型和LDA模型更高效的在线学习算法。5）动态场景下的单目标和多目标人物行为识别；6）基于主题模型的目标检测与跟踪。创新点体现在：1）基于type-2型模糊逻辑理论和MRF相结合的背景建模； 2）融合视觉注意模型和Graph Cuts的运动目标自动分割；3）基于LDA对目标外观建模及结合上下文的MRF推理的多摄像头网络中的目标跟踪；4）基于PLSA和LDA的主题模型的在线学习算法等。.项目组已经在国内外著名的学术期刊及重要国际会议发表相关论文27篇，其中5篇已经被SCI收录，16篇被EI收录，参加国际学术会议12人次，国内学术会议4人次。出版学术专著1部，教材1部。申请发明专利8项，其中3项已经授权。获得软件著作权4项。项目执行期内，项目负责人入选江苏省“六大人才高峰”项目，主要成员刘纯平晋升教授，季怡晋升副教授。此外，项目执行期间培养博士研究生1名，培养硕士研究生9名，在读博士后1名，在读博士研究生2名。.在理论研究的同时，课题组与国内著名的视讯与安防研究机构苏州科达科技股份有限公司合作，成立了苏州大学科达云视讯联合实验室，申请江苏省产学研联合创新资金——前瞻性联合研究项目“复杂场景下异常行为分析及其应用”，实现了部分算法的应用，体现了项目巨大的经济价值。