基于视皮层感知机制的生物启发运动特征层次化模型

计算机视觉中，由于安全监控与人机交互的需要，行为识别被广泛关注。传统识别方法属非生物模型，普遍存在对运动目标位置、大小、速度敏感等鲁棒性不强的问题。针对静态物体识别，已有学者模拟腹侧通路视皮层感知机制建立生物启发模型，较非生物模型取得更好识别效果。鉴于背侧通路与腹侧通路的相似性，本项目将生物启发特征进一步扩展到视频序列动作识别中：1）建立背侧通路生物启发运动特征（Biologically Inspired Motion Features，BIMF）的层次化提取模型；2）构造刻画运动信息的腹侧通路视频序列形状特征，建立与背侧通路相融合的运动特征提取模型。基于生物学研究结论，该模型能实现具有时空域不变性的运动特征提取，因此与传统方法相比，具有位置不变性、尺度不变性及运动速度不变性的突出优势。本项目研究成果有助于推动计算机视觉感知技术发展，具有重要科学意义与良好社会经济效益。

生物启发模型是一种新的模拟视皮层感知机制建立的图像视频分析方法。该方法自提出以来，基于腹侧通路的静态图像层次化特征提取模型取得了成功的应用。然而，基于背侧通路的运动特征模型的理论基础尚未形成，其应用领域还有待进一步拓展。本项目专注于基于视皮层感知机制的生物启发运动特征层次化模型与应用问题的研究，其核心是1）建立生物启发运动特征的层次化提取模型；2）构建背侧运动通路与腹侧形状通路的信息融合；3）生物启发层次化运动特征的应用。本项目在三个方向进行深入的研究，并取得了丰硕的成果：1）对背侧通路的LGN→V1→MT→MST 四个层次提出了对应的神经元模型，并构建背侧通路的层次化运动感知模型，发表了相关论文5篇。2）基于腹侧形状通路与背侧运动通路在视皮层内所表征信息的不同特性，以及两条通路在在视皮层内的信息交互，提出了多种不同的融合机制和策略，有效的提升了双通路特征的表达与融合，发表了相关论文4篇。3）基于生物启发的理论与模型基础，成功将生物启发模型应用于多个机器视觉关键领域，其中包括目标跟踪、行为识别、时空兴趣点检测、显著性检测等，发表了相关论文17篇。在本项目开展过程中，合计已经发表相关论文17篇，其中期刊论文 8篇，会议论文 9篇，SCI 收录4篇，EI 收录9 篇。此外，参加正式的国际与国内交流 7 次，培养了 6 名研究生和4名博士生。项目经过 4 年的工作，取得了一系列的成果，达到了项目预期的研究目标。