基于拓扑知觉理论及协同运动的感知模型及其在机器视觉中的应用

This project will introduce a novel model mimicking human visual perception and apply it in machine vision, combining topological property perception theory，synergy movement of all parts of a whole dynamic object with synchronous oscillation in cognition science. This model will implement on spatial-temporal-coding pulse coupled neural networks based on synchronous oscillation phenomena of the visual cortexes of the animals, and will use temporal synchronous oscillation，spatial attention selection，object's synergy movement, and object topological property to bind object features and all parts of the object to percept the whole object. On the one hand,in terms of topological property perception theory,we introduce the global topological property of the object to pulse coupled neural networks to make the whole object easy to percept. On the other hand, in terms of the fact that the synergy movement of all parts of a whole dynamic object plays a role in object perception, our model percepts the whole object by binding all parts of the same dynamic object with the same or the different movement stytles. This model will likely solve the problem of flexible changing object detection and recognition,which has long plagued researchers in machine vision.Meanwhile, it is a novel approach to engineering applications. Our perception model will apply in object detection,tracking, feature extraction and recognition of flexibly changing object，and so on. That model will be debugged and improved on the intelligent robot.

将认知科学领域的拓扑知觉理论与同一动态目标各部分协同运动及同步振荡相结合提出新的"模拟人视觉感知的模型"并应用于机器视觉中。该模型由根据动物视觉皮层脉冲同步发放现象提出的时空编码脉冲耦合神经网络实现,利用时间上的同步振荡、空间上的选择性注意、目标协同运动及目标拓扑性质对目标特征及目标各组成部分进行捆绑,从而感知到整个目标。该模型一方面受拓扑知觉理论启发,将目标的大范围拓扑性质引入到脉冲耦合神经网络中,使得整个目标易于被感知到;另一方面,基于同一动态目标各组成部分之间的协同运动在感知中起到的作用,将包含相同或不同类型运动的同一动态目标的不同部分联系起来,被感知为一个整体。该模型有望克服机器视觉中长期困扰研究者的柔性变形目标的检测和识别问题,同时为工程上的应用提供了一条可能的新途径,可用于目标检测、跟踪、柔性变化目标的特征提取和识别等方面,研究中以智能机器人为实验平台进行调试与改进。

本项目对建立模拟人视觉感知的模型展开了研究，是脑科学和信息科学的交叉课题。拓扑性质知觉理论、目标运动、时空编码脉冲耦合神经网络是本项目中建模的重要基础。在拓扑性质知觉理论和目标运动的结合研究方面，分别提出了注意力选择方法、脉冲耦合神经网络的平滑处理方法、脉冲耦合神经网络双通道调制方法、多通道融合方法，实现了拓扑性质知觉理论中的目标大范围拓扑性质和同一动态目标各部分协同运动的结合。在特征的时间捆绑和特征的空间捆绑的融合研究方面，提出了多种特征的时间捆绑和特征的空间捆绑相融合的方法，这些方法用运动特征的空间捆绑实现特征的时间捆绑，用到了光流计算、脉冲耦合神经网络及注意力选择，具体为基于光流场的背景抑制算法、相似光流运动特征区域融合算法、背景建模算法等；得到了同一动态目标各部分协同运动的多种表达形式；此外还探索了拓扑性质知觉理论在自然语言处理中的应用。在建模研究方面，结合上述研究，提出了基于光流场和脉冲耦合神经网络的注意力选择模型一、基于光流场和脉冲耦合神经网络的注意力选择模型二、基于支撑向量机和脉冲耦合神经网络的运动目标识别及跟踪模型、脉冲耦合神经网络融合相似运动特征的注意力选择模型、基于脉冲耦合神经网络及运动协同性的运动目标注意力选择模型、基于脉冲耦合神经网络及背景建模的运动目标注意力选择模型、基于稀疏分解和光流及脉冲耦合神经网络的运动目标注意力选择模型、基于脉冲耦合神经网络及帧差的运动目标注意力选择模型、基于粒子滤波和脉冲耦合神经网络的目标跟踪模型，这些模型可应用于目标跟踪、识别等；提出了基于脉冲耦合神经网络及拓扑知觉的图像注意力选择模型，可应用于目标识别预处理；提出了基于脉冲耦合神经网络及全卷积神经网络的注意力选择模型，通过充分训练，可用于柔性变化目标识别；提出了基于注意力选择和脉冲耦合神经网络的小目标检测模型，可用于沙漠及海洋等环境中的小目标检测。发表论文32篇(其中SCI检索5篇，EI检索19篇)；获得省部级自然科学三等奖一项("基于脉冲耦合神经网络等智能方法的信号处理及仿生建模")；发表专著一部("时空编码脉冲耦合神经网络理论及应用")，该专著涵盖了本项目的研究成果。