基于中智集多属性决策的视频目标跟踪中多特征和多跟踪算子融合研究

Fusing multi-feature and multi-tracker is a good way for improving the robustness of the visual tracker. However, the indeterminant problem during the fusion process is the main factor influencing the performance of visual trackers, especially for the schemes for judging the saliency of the object feature and the degree of the reliability of one tracker. .Though the theory of multi-attribute decision making based on neutrosophic set has shown its good capacity of handling indeterminant problem when dealing with the visual analysis issues on image recognition, segmentation and 3D skeleton, etc., it has not been introduced into the area of visual tracking yet. Based on this theory, we try to solve the following problems:.1. Fusing muti-feature in the typical frameworks of visual tracking: for the framework of the MeanShift tracker, the neutrosophic based measurement is proposed to indicate the degree of the reliability of each histogram bin channel and the saliency of the feature in the area where the object located. In addition, by employing the response distribution of the classifier, the neutrosophic based measurement for weighting the image samples extracted from the current or several consecutive frames is introduced for improving the feature fusion capability of the tracker in the framework of the discriminant classifier..2. Fusing multi-tracker: the response distribution, as well as the location of each tracker, is employed for indicating the degree of the reliability of each tracker based on the neutrosophic measurement. Then, a neutrosophic multi-attribute decision making based strategy is proposed to improve the fusion effect of multi-tracker.

进行多特征、多跟踪算子融合是提升视频目标跟踪算法鲁棒性的有效手段。然而，融合时面临的不确定性问题仍是限制此类目标跟踪算法性能的核心问题，尤其是缺乏针对目标特征显著性和跟踪算子可靠性的有效度量机制。.中智集多属性决策理论已在图像识别/分割、3D骨骼提取等视觉分析领域显示出很好的不确定信息处理能力，但尚没有相关论文将其引入视频目标跟踪问题。本项目拟利用该理论解决如下问题：.1. 典型跟踪算法框架下的多特征融合问题：针对MeanShift跟踪框架，提出直方图各通道特征可靠度和目标区域特征显著度的中智度量；针对判别式分类器跟踪框架，提出基于分类器响应的当前帧/相邻多帧训练样本权值的中智度量，提升特征融合能力。.2. 多跟踪算子融合问题：提出基于跟踪算子响应和多跟踪框分布的跟踪算子可靠度中智度量，并以此为基础，利用中智集多属性决策理论提升多跟踪算子融合性能。

视觉目标跟踪是计算机视觉的重要研究方向，是众多智能应用的技术关键。本项目瞄准其中的不确定性度量和特征融合问题，基于中智理论处理不确定信息的优势深入开展研究，研究内容和结果主要包括：(1)面向MeanShift框架的中智多属性决策特征融合跟踪方法研究。提出了基于中智交叉熵的融合深度和颜色信息的跟踪算法，设计了用于提取目标区域的中智种子点提取方法，设计了多种面向特征融合的中智度量函数；提出了基于中智多属性决策，融合目标前景和背景特征信息，以及目标时序特征信息的跟踪算法，设计了分量加权中智余弦相似度量方法，提出了中智目标尺度修正方法。(2)面向判别式分类器跟踪框架的中智目标提取和样本加权方法研究。提出了基于多周期单值中智集相关度量测和一般单值中智集相关度量测的目标检测方法；面向目标跟踪中的图像分割问题，提出了中智分割参数选取策略；面向目标跟踪分类器训练更新问题，提出了中智样本加权方案。(3)中智多属性决策新方法及跟踪算子中智融合策略研究。提出了语言中智数和Bonferroni平均算子相结合的多属性决策方法；提出了新型的单值中智不确定语言集及其决策方法；提出了语言中智数Einstein算子，并将其引入多属性决策；提出了双极中智域Heronian均值算子和语言中智多集Heronian均值算子及其多属性决策方法；基于跟踪框分布和跟踪算子响应差异，提出了跟踪算子可靠度中智度量，并提出了跟踪算子中智融合方案。(4)复杂环境目标跟踪模糊关联和中智轨迹初始化方法研究。提出了面向复杂环境目标跟踪的模糊概率数据关联滤波器；提出了基于中智Hough变换的轨迹初始化方法；提出了一种结合联合概率数据关联和模糊迭代最小二乘滤波器的跟踪方法；对在不确定环境下基于中智集的目标跟踪问题进行了系统梳理，形成综述。此外，在点线结合特征关联、三维运动目标检测、粒子群优化、图像编码等相关方面取得相应研究成果。项目研究成果拓展了中智理论研究领域，为目标跟踪中不确定信息描述，信息融合提供了新方法，对目标跟踪相关智能应用具有推动作用。