基于Safe screening 的支持向量机的稀疏理论及其快速求解方法

Support vector machine is an effective machine learning method, and it costs large amount of running time and storage. To address it, based on variational inequality and dual projection methods, sparse support vector machines and their safe screening rules are researched in this project. These rules can greatly reduce the scale of the optimization problems by safely discarding most samples before solving the optimization problem. Moreover we can obtain the same solution as the original optimization problem. The following main contents are included: The sparse solving methods for twin support vector machine based on variational inequality and dual projection methods. The sparse solving methods for semi-supervised support vector machine and semi-supervised twin support vector machine based on safe screening. Parameters selection for multiple parameters in SVM based on safe screening. Sample and feature selection for SVM simultaneously based on safe screening. Modified original safe screening rules for SVM. Enrich and improve the responding theory of safe screening.

支持向量机是一种有效的机器学习方法，但随着数据规模的增大它会消耗大量的运算时间和内存。为了克服上述问题，本项目以变分不等式和对偶投影方法为依据，构建基于safe screening的支持向量机稀疏模型及其快速求解方法。通过前一个优化问题的解，筛选出下一个优化问题解中对应值为0或1的样本，这样大大缩减了优化问题的规模，而且得到与原问题完全一致的解。包括以下内容：基于变分不等式与对偶投影的Twin支持向量机稀疏求解方法；基于safe screening的半监督支持向量机以及半监督Twin支持向量机的稀疏求解方法；构建基于safe Screening的支持向量机的多参数选择模型；构建基于支持向量机的样本与特征同时约减的safe screening模型；改进现有的支持向量机的safe screening准则；最后丰富和完善safe screening的相关理论等。

本项目主要研究如何提高各类支持向量机模型的预测精度和求解速度。主要包括三个方面内容：一是对现有支持向量机模型的改进与拓展，通过引入不同的损失函数和正则化项，针对分类、回归、多标签以及多任务问题的特点，构建相应的支持向量机模型，来增强模型抗噪性、提高模型的泛化能力。二是针对各类稀疏模型，构建安全筛选准则加速优化问题的求解。包括安全的样本筛选准则、特征筛选准则和样本与特征同时筛选准则。通过各种优化理论对包含最优解的区域进行严格的理论估计，在求解前删除冗余的样本或特征，并从理论上保证删除的样本或特征不影响模型的精度，加快求解速度，因而该方法是安全的。三是丰富和完善安全筛选的相关理论，构建基于可行解而非最优解的筛选方法，从理论和实践中保证准则的安全性。在本项目的支持下，共发表SCI论文38篇(含在线5篇)，其中中科院一区19篇，包括4篇IEEE Transactions系列论文，二区8篇。共培养毕业博士4名，毕业硕士11名。目前在读研究生12名。毕业博士中有1人入选“云南省青年千人”计划，破格晋升为副教授，1名攻读中科院博士后。1名博士的毕业论文被评为中国农业大学十佳优秀博士论文。指导的研究生有3人获得国家奖学金，1人获得校长奖学金（最高奖），6人次获得北京运筹学会、北京计算数学学会优秀论文奖。