基于类别结构信息和结构化学习的维数约简

针对模式识别问题中类别之间通常存在树形等结构关系的事实，提出并研究基于结构化学习(structured learning)的维数约简的理论框架和方法，提高处理图像、视频等高维数据的泛化能力和速度。现有子空间分析、流形学习等维数约简方法都忽略了类别之间的结构关系(如树状归属关系: 狗和狼属于猫科动物，人和猴子属于哺乳动物，而猫科动物和哺乳动物又都属于动物)，而仅仅平等对待、无序使用各类别，所得特征不能支持快速识别，也限制了识别的泛化能力。另一方面，虽然近年出现的结构化学习能够处理结构化数据，但它仅限于得到分类或回归函数。为了克服上述问题，本项目研究一个基本理论框架，充分利用类别之间结构关系所蕴含的有用信息，突破现有结构化学习的局限，以结构化学习的形式进行维数约简。在该框架下，研究以维数约简为核心的结构化学习的目标函数和约束条件、最优化方法、训练过程的收敛性并提出训练算法的收敛条件。

维数约简是计算机视觉和模式识别的关键，对提高系统的效率和泛化能力有重要的作用。本项目主要研究利用数据内部的结构信息进行维数约简和特征提取。在这些方面，本项目发表了学术论文20篇，其中EI检索源论文20篇，SCI期刊源论文16篇，IEEE汇刊论文6篇。主要成果包括：(1) 提出了一种基于聚类的正则化LDA子空间学习方法，该方法在不使用额外训练数据的前提下，通过无监督聚类的方法，充分利用给定数据本身的结构信息，利用聚类类内和聚类类间散布矩阵对类内和类间散布矩阵进行正则化处理，使其逼近真实矩阵。实验表明，训练数据越稀疏所提方法优势越突出。(2) 提出了基于鉴别分析的最优空间滤波器。首先将每类EEG信号分成若干个聚类。在次基础上将设计了一个新的图嵌套框架。该框架中聚类中心构成图的结点，图边连接权重包含了某一聚类中的样本个数，包含了聚类的先验知识。(3) 提出了基于相关数据超球结构保持的维数约简。提出用与变换域相关样本中心的距离表示用户意图的程度，同时将基于相关性保持的低维嵌入和基于非相关性排斥的低维嵌入项纳入到目标函数中，利用谱分析求得最优解。(4) 提出了基于前景稀疏结构特性和连通结构特性的增量式子空间视频目标提取方法。该算法从目标函数设计入手，同时引入了数据保真项、前景稀疏项、前景连通项。用少量基函数表示背景，用L1范数刻画稀疏性，用马尔科夫模型表达连通性。.(5) 提出了利用排序结构信息的维数约简方法。将传统的成对标签约束进行延伸为排序相关等级，使传统的典型相关分析算法具有最优排序能力，同时可以以半监督的方式同时利用有标签数据和无标签数据。(6) 提出了基于图像水平、垂直、尺度三维结构的特征提取和分类方法. 针对物体检测中搜索空间大、特征提取计算量大的问题，构建了由水平、垂直、尺度三个因子组成的三阶张量空间，设计尺度容量和位移容量，根据分类器的响应预测潜在物体范围。(7) 提出基于分布式结构的特征提取和分类方法。提出利用视频中图像序列的时空相关性，将最消耗计算量的高维特征提取和分类分配到相邻的不同帧中，每帧只提取部分低维特征向量并完成部分分类任务。(8) 提出基于内积稀疏结构的特征提取和分类算法。我们发现在空间域相邻的子图像在特征空间里也具有相邻关系。背景子图像和物体子图像均具有该特性。基于此特性，我们提出用一次内积运算和很少的加法运算来排除较多子图像的方法。