基于结构学习的非平行支持向量机最优化方法研究

Support vector machine (SVM) has been recognized as one of the most effective learning methods in the machine learning community. As a new breakthrough, nonparallel support vector machine relaxes the universal requirement that the hyperplanes generated by SVM should be parallel, resulting in excellent at dealing with “xor” and “heteroscedastic noise” problems. Thus, methods of constructing nonparallel support vector machine has been extensively studied. However, compared with SVM, it still has many challenges, especially in its optimization theory and modeling. Based on our preliminary works, we study the nonparallel support vector machine from the following aspects: (1) we will propose a novel nonparallel support vector machine with maximum margin and unified metric, and further give its theoretical framework. (2) For the heteroscedastic distribution structure problem, we will construct a cluster-based structure nonparallel support vector machine via structure regularization penalty. (3) Combing with the over-relaxation and smoothing techniques, fast and sparse solving algorithms will be further designed for the above models. The goal of our project is provide the theory, methods and technical support for nonparallel support vector machine.

支持向量机(SVM)是当前公认最有效的机器学习方法之一。非平行支持向量机将SVM构造的“平行超平面”推广至“非平行超平面”，是SVM方法新的突破。它在处理“交叉型”和“异方差噪声型”数据问题上突显出了良好的泛化能力,进而得到了很多学者关注和后续研究。然而，非平行支持向量机的研究还很不充分，尤其是其最优化理论和模型方面的研究还很欠缺。本课题拟在若干前期基础上来研究非平行支持向量机,主要包括：(1) 提出具有最大间隔和统一度量的非平行支持向量机模型，并给出相关的理论证明；(2) 针对异分布结构数据，引入结构正则化惩罚，捕获数据聚类结构信息，构建基于“簇粒度”的非平行支持向量机模型；(3) 结合超松弛(SOR)技术与光滑(Smoothing)技术对以上模型提出具有稀疏性的快速求解算法。本课题将为非平行支持向量机的研究提供理论、方法和技术支持。

本基金重点围绕在非平行超平面SVM中存在的结构化学习问题，从最优化模型的构建、样本结构信息的提取、结构学习算法的设计到快速求解算法等展开深入研究，旨在提出面向结构学习的非平行超平面SVM方法学习框架。主要包括：(1) 非平行SVM的最优化模型：首次提出多标签非平行SVM；基于聚类拟合思想，提出训练/预测一致性的非平行SVM学习框架；基于结构风险最小化原则，提出特征值分解支持向量机模型。(2) 结构信息化学习：构造Laplacian图矩阵，捕获数据潜在分布结构信息；基于流形结构学习框架，提出半监督非平行SVM模型；首次提出适合PU学习问题的结构学习的非平行SVM模型。(3) 非平行SVM快速求解算法：针对非平行SVM求解对偶问题存在高计算复杂度矩阵求逆问题，分别提出了两种快速求解算法：conjugate gradient(CG)算法和smooth算法。针对大规模分类问题，引入加权线性损失，提出WLTSVM模型及快速求解算法。相关研究成果已在国内外期刊已发表7篇学术论文，其中被科学索引SCI论文5篇(2篇TOP SCI)；A类中文期刊2篇。本基金研究成果将为非平行支持向量机的研究提供理论、方法和技术支持。