软间隔分片线性分类器的通用集成方法及其应用研究

Piecewise linear classifier (PLC) has the merits of simple computation, less parameters, and real time, which offers potential applications for imbedded and real-time systems, intelligent terminals, and portable devices. However, the existing ensemble methods require that the data must be separable and have no mechanism for handling of outliers, resulting in the classification models with poor generalization ability. For addressing these problems, the project will research a novel general ensemble method of PLC and its applications as well, by employing the soft margin scheme from statistical learning theory. The mechanism of explicit space mapping is first used to separate original inseparable data in a high-dimensional feature space, and meanwhile it will provide clear explanation for metric space transform. Then, in soft-margin case, the general ensemble framework of PLC will be established. It can be proved that for any kernelized linear classifier, it can be integrated into a corresponding PLC. The project will further construct a theoretical system to evaluate the performance of PLC, illustrating the influence on generalization ability from sample quality and prior knowledge. Finally, the research results will be generalized into the fields stressed the importance of positive class, for testing the effectiveness in the applications with specific advantages. The project stresses theoretical research, combined with a series of tests, analysis and optimization measures, to fully exploit the inherent potential of PLC. It can also further promote the theories, methods and applications of multi-plane learning.

分片线性分类器具有计算简单、参数少、实时性好等优点，在嵌入式/实时系统、智能终端、便携设备中应用前景广阔。但现有集成方法要求数据可分离，对孤立点无处理机制，从而导致分类模型泛化能力较弱。本项目将针对上述问题，通过借鉴统计学习理论中的软间隔策略，开展新的分片线性分类器的通用集成方法及应用研究。首先引入显式空间映射机制，在高维特征空间分离原空间中的不可分样本，并对度量空间变换做出清晰解释。然后建立软间隔条件下分片线性分类器的通用集成模型，证明对于任意可核化的线性分类器，均能集成为相应的分片线性分类器。构建评价分片线性分类器性能的理论体系，研究样本质量和先验知识对分类器泛化能力的影响。最后推广研究成果到强调正类分类重要性的领域中，在具有特定优势的应用上检验其效能。本项目将以理论研究为主，结合一系列测试、分析和优化措施，充分挖掘分片线性分类器的内在潜力，进一步推动多平面学习理论、方法和应用的研究。

分片线性分类器(Piecewise Linear Classifier)设计是模式识别与机器学习领域的一个重要研究课题。当经典统计模型无法表达样本的潜在分布时，分片线性分类器可以作为经典统计模型的有效替代。本课题对分片线性分类器的设计理论和算法进行了系统研究，主要成果包括：(1)提出了一种检测高维空间中点与凸包位置关系的机器学习方法(PinCHD)，并以此方法为理论基础，进而提出了一种新的凸多面体分类器(CPC)。它以组合超平面的方式将少数类样本包围在一个凸多面体内，将多数类样本排除在外。该方法易于实现且不需要对参数进行优化和调整。实验表明，它通常优于现有分片线性分类器，并且能够与四种支持向量机竞争。(2)提出了一种软间隔的凸多面体分类器(SM-CPC)来处理非线性任务。它引入显式映射机制在特征空间中分离原空间中的不可分样本，并通过核化进程将基(线性)分类器推广到它的软间隔版本。最终，一系列基分类器结构化集成软间隔凸多面体分类器。在高噪声和误采样情况下，软间隔凸多面体分类器仍然能保证较好的分类精度。(3)扩展组合凸线性感知器(Multiconlitron)到多类分类环境中，提出了基于混合二叉树结构的多类分类算法(BPT-HA)。在每个分支结点，它通过计算类(组)间质心的距离来产生分离超平面，以实现快速的早期划分；在每个叶子结点，它通过组合凸线性感知器来获得类间的组合超平面，以实现精确的终端决策。相比于传统多类算法，它不需要进行参数调优，在测试阶段速度更快，并且具有处理少数类样本的能力。(4)提出了简化现有组合凸线性感知器的贪心算法(GreSMA)。该算法分为两个步骤，第一步使用贪心策略来分离尽可能多的局部训练样本，并贯序产生分离超平面；第二步对初始超平面进行调整，以使其更好地拟合分类边界。实验表明，相比于原有算法(SMA)，该方法能够将分类模型中线性函数的数量减少50%以上。综合上述成果，本课题研究丰富了分片线性分类器的设计理论和算法，同时对多平面学习理论的发展具有一定的推动作用。