基于不确定性视觉模型的图像语义抽取问题研究

Internet的深入发展、社区类型网络平台的大量涌现为图像数据的交流与共享提供了便利平台。随着数据提供者的数量的剧增，出现了大量具有同一语义而视觉多样的图像。清晰的语义描述是大规模图像管理和检索技术的关键。然而，日益显著的图像视觉多样性和不确定性特点为图像语义自动抽取技术带来了巨大挑战。现有技术单纯从改进模型出发，对图像视觉特性的不确定性缺乏必要的考虑和有效的技术手段。针对上述挑战，本项目拟从建立底层视觉不确定性模型为出发点，研究图像语义自动抽取关键技术，重点解决：1）图像视觉特征的不确定性建模；2）基于不确定性特征模型的距离度量；3）基于不确定性特征模型的语义提取方法。本项目对于进一步提高大规模图像数据管理的研究水平、探索非结构化数据的不确定性管理具有重要的学术意义；对于提高图像语义抽取准确度，满足现实应用中大规模图像查询要求，具有实际应用价值。

本课题以建立底层视觉不确定性模型为出发点，对图像语义自动抽取展开研究，突破以下关键技术:1)考虑到同一语义对象视觉特征变化大，难以适用传统不确定性模型的问题，提出将视觉分布的参数作为不确定对象的做法，建立了不确定性模型，并相应提出了基于样本集的的概率密度函数估计方法。2)针对基于不确定性建模的相似性度量，提出了基于不确定性参数分布的KL距离度量。同时，对研究过程中的部分成果进行扩展，提出了基于混合模型KL距离度量的稀疏重建技术，给出了稀疏系数的估计方法，将其应用于图像语义标注中，提高了图像标志的查全率和查准率。3）对基于不确定性模型的生成模型学习、基于不确定性模型的判别分析方法以及基于不确定性模型的类视觉模型展开研究，并提出了相应的解决算法。特别是在基于不确定性模型的生成模型语义抽取算法研究中，由于视觉不确定性建模对图像的视觉多样性问题进行了处理，增加了待标注图像视觉邻域中视觉变化大但语义相似的图像的比例，从而增强了视觉邻域中正确的语义标签的传播概率，较大的提高图像语义抽取的准确度。4）在研究过程中进一步深入分析了生成模型与判别分析模型的优缺点，建立了基于语义相关性的层次结构分类器，并将其应用在基于生成模型的待标注图像领域中进行噪声过滤，从而实现了基于可判别分析技术及生成模型的结合，将其应用在图像语义标注问题中，提高语义标注的准确度，进而提高图像基于语义检索的准确度。5）针对目前图像数据海量增长，保存图像本身数据、语义抽取的结构化数据、视觉特征及视觉建模数据的数据量非常庞大，同时对这些数据具有只读、查询效率要求较高等特点，对其海量存储、查询问题进行了研究。重点研究基于列存储的存储、查询技术，提出了基于列存储的查询优化技术、索引技术及数据复用技术等。6）在上述研究基础上，本课题在国内外核心期刊和会议发表录用学术论文13篇，其中包括SCI文章（JCR 一区、三区各一篇），国内权威期刊5 篇，申请并授权发明专利2项。已全面地完成了预期的考核指标。