视频目标多模融合跟踪技术研究

Visual target tracking technology can be applied in visual navigation, human-computer interaction, intelligent transportation,etc. Current tracking technology mainly focus on those targets that come from a single sensor or multiple homogeneous sensors. Howereve,those technologies are susceptible to sensor imaging mechanism and view field time-varying, and thus it is difficult to achieve long-duration robust tracking. To solve this problem, we propose novel tracking strategy based on heterogeneous multi-sensors fusion. In our research, infrared sensor and visible sensor are chose as video devices. According to information redundant in time and information complementarity in space between two sensors, and the dynamics of the target feature, we develop rapid and robust multi-source target tracking algorithms, including: 1) research on time-space registration and optimal fusion algorithms for the heterogeneous sensor image data under the conditions of constant relative perspective; 2)how to represent multi-source target, and how to build its dynamic feature space model; 3)how to adaptively update the template scale of tracked target; 4)developing robust tracking alorithms based on multiple features dynamic fusion and ensemble learning; The research will focus on the overall algorithom for heterogeneous image registration and fusion, multi-source target feature extraction and integration, as well as robust tracking of target.The research can product some novel approaches for fast captureing and robust tracking mutil-source video target from multiple heterogeneous sensors.

图像目标跟踪技术可应用于视觉导航、人机交互、智能交通等领域。已有跟踪技术主要针对单传感器或同类多传感器下的目标，受传感器成像机理和目标视场时变性的制约，很难实现一致稳健跟踪。为了解决这一问题，我们提出基于异类多传感器融合的跟踪策略。项目以红外传感器和可见光传感器为实例，根据两图像传感器在时间和空间上信息的冗余与互补特性以及目标特征动态变化的特点，开展快速稳健的多源目标跟踪算法研究,包括：1）相对视角不变下的异类图像传感数据的时空配准和优化融合；2）多源目标的特征表示以及动态特征空间模型的建立；3）多源目标跟踪模板尺度自适应更新；4）基于多特征动态融合与集成学习的稳健跟踪；重点研究异类图像传感数据的配准和融合策略、多源目标特征的提取与融合以及稳健跟踪的整体算法，为实现异类传感器下多源图像目标的快速捕获与稳健跟踪提供新的方法和手段。

本项目瞄准多源目标融合跟踪这一前沿课题，研究异质多传感器融合跟踪的新理论和新方法，并以红外与可见光传感器组合为实例，对提出的理论和方法进行验证。主要研究内容包括：研究相对视角不变下的异类图像传感数据的时空配准和优化融合；研究多源目标的特征表示以及动态特征空间模型的建立；研究多源目标跟踪模板尺度自适应更新；研究基于多特征动态融合与集成学习的稳健跟踪。.依托本项目已发表学术论文29篇，其中SCI收录的期刊7篇，EI收录的期刊论文4篇，EI收录的会议论文5篇，核心期刊13篇。目前已受理发明专利3项，获得软件著作权1个。已培养青年教师1名，协助培养博士研究生1名，培养硕士研究生9名。项目所取得的研究成果主要体现在以下几个方面：（1）研究多源视频目标跟踪方法。提出基于二阶空间直方图的双核跟踪算法、基于双准则自适应融合的目标跟踪算法、基于联合直方图的红外与可见光目标融合跟踪、红外与可见光目标的空间直方图表示与联合跟踪算法、基于空间直方图和模糊逻辑的多模融合跟踪算法，提出压缩的时空Kalman融合跟踪方法、基于L1_APG的红外与可见光目标实时融合跟踪算法、基于压缩感知的多模融合跟踪算法。（2）研究视频目标行为检测和识别。提出基于动作子空间和权重条件随机场的行为识别方法、基于方向光流直方图的人群异常行为检测混合方法、基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示。（3）研究图像分类和聚类算法。提出基于多示例多标记学习的图像和文本分类算法、基于混合框架和集成特征的图像场景分类方法、集成约束和度量的半监督聚类方法。（4）研究图像自动标注和语义理解的方法。提出混合生成式和判别式模型的图像自动标注方法、基于模糊关联规则和决策树的图像自动标注方法、基于多实例多标记学习的图像检索框架、基于卷积神经网络的图像语义标注混合结构。.本项目的主要成果不仅可以成功应用在目标跟踪相关领域，经过适当改进也可以应用于目标行为识别、目标分类和图像理解等多个领域，具有重要的理论意义和应用前景。