具有可调节范数的支持向量机模型与算法的研究

Support vector machines (SVMs) is a powerful tool for machine learning, and has been applied to a wide variety of fields in data mining. SVMs are based on optimization methods and in the standard SVMs, 2-norm is used. Recently, some variants of SVMs with different norms open a novel approach in the development of SVMs because they made a good performance, particularly in feature seletion. This project focuses on the SVMs with adaptive norms, via optimization theory and methods. It mainly includes the following parts: (1) improve the variants of SVMs with different norms; (2)construct new SVMs with adpative norms for classification, regression, multi-instance learning, multi-label learning problems respectively, and propose some efficient optimization methods (including global methods); (3)apply and improve our new SVMs and new optimization methods to gene selection problems in bioinformatics. We believe that this research has scientific significance and practical value since it can not only provide some new theories and methods for data mining, but also improve SVMs and numerical optimization.

支持向量机方法是借助于最优化方法解决机器学习问题的有力工具，已经被成功地应用到数据挖掘的许多领域。在标准支持向量机的优化模型中使用的是2范数，近年来，出现了若干基于不同范数的支持向量机，由于其在特征选择等问题中的显著效果，逐渐成为支持向量机方法中新的研究热点之一。本项目拟从最优化理论与方法的角度出发，对可调节范数支持向量机模型进行研究。主要包括：(1)改进、完善现有的优化模型；(2)针对机器学习领域中常见的分类、回归、多示例、多标签等问题，构建相应的可调节范数的优化模型，并基于最优化方法研究建立简单而有效的算法(包括全局算法)；(3)针对生物信息领域中的特征选择问题,研究新模型与算法的应用和改进. 本项目的实施不仅能为数据挖掘提出新理论和新方法,而且能够推动支持向量机和最优化方法的发展，具有重要的科学意义和实用价值。

支持向量机是当今机器学习领域的一个研究热点,是借助于最优化方法解决机器学习问题的有力工具。本项目主要从最优化理论和方法的角度出发，来研究可调节范数支持向量机的模型和算法，取得了一些有价值的成果，出版了1部英文专著,并在国际期刊和国际会议上发表多篇论文。研究成果具体包括以下三个方面：（1）针对经典的分类问题，对现有的优化模型进行了改进，构建了混合范数的支持向量机新模型。和原有的模型相比，该模型在特征选择和分类准确率方面都有所提高。（2）针对机器学习领域中的回归、半监督、基于知识的分类问题等，提出了新的支持向量机模型。（3）利用优化理论和方法，对于新优化模型建立简单有效的求解算法，并在很多人工和经典的数值例子中进行了数值试验，将之应用于生物信息领域中的基因选择问题，取得了很好的结果。该项目的实施，一方面推动了支持向量机方法的发展，另一方面也拓展了最优化在机器学习领域的理论与应用研究，具有一定的科学意义和实用价值。