基于先验知识的支持向量机的最优化模型与算法研究

本项目拟研究的支持向量机是当今国内外研究的热点之一。它是数据挖掘中的一项新技术，以最优化方法为实现手段，是解决分类问题和回归问题的有效工具。在通常的支持向量机的研究中，人们都默认了学习数据集是根据某个未知但固定的分布独立同分布产生的假设。然而，在很多实际问题中，学习的数据集是具有先验知识的，如数据集中含有噪声或异常值，数据集不平衡，数据中含有特定的信息等。忽略数据集先验知识建立的模型往往不能很好地满足实际问题的需求。本项目拟研究基于数据集先验知识的支持向量机的模型和算法。具体地包括：建立支持向量机的鲁棒模型及其能够求解大规模鲁棒模型的DCA算法；通过构造基于数据集的核函数建立不平衡数据集的支持向量机模型和算法；建立利用数据中的特有信息进行学习的支持向量机模型和算法。在国内外，对本项目的研究尚处于初级阶段。因此本项目的研究将有利于推动支持向量机在理论和应用实践方面的进一步发展。

支持向量机是机器学习中的一项重要的新技术。随着深入研究，人们发现在许多的实际问题中，数据集往往具有先验知识。例如，数据中含有异常值；数据集不平衡；数据中含有隐藏信息。我们针对该问题进行了深入地研究，内容有：研究支持向量机的鲁棒模型和求解算法；研究处理不平衡数据集的支持向量机模型和算法；研究学习数据的隐藏信息的支持向量机模型。我们取得了一系列研究成果，很好地丰富了支持向量机的理论和应用。主要成果有：.（1）对鲁棒模型的研究：a.构造了非凸有界的最小二乘损失函数，建立了相应的鲁棒模型和DC规划；b.提出了一种斜率、间隔可变的广义有界损失函数，并建立了相应的鲁棒模型和牛顿求解算法；c.提出一种能够抑制异常值的绝对偏差损失函数，并建立了相应的鲁棒模型；d.建立了基于非凸二次损失函数的支持向量回归机鲁棒模型和求解算法。我们利用标准数据，金融时间序列数据，以及排序数据，对这些鲁棒模型进行了测试， 结果显示它们在鲁棒性和泛化能力方面都有显著的优势。.（2）对不平衡数据集的支持向量机研究：a. 建立了最小二乘模糊单分类支持向量机模型；b. 对正包和负包不平衡的多示例问题，构建了逐次迭代的最小二乘支持向量机模型；c. 构建了最小二乘双胞胎支持向量机的多示例模型和求解算法。利用标准数据集对这些模型进行测试，结果显示它们在处理不平衡数据集上有很好的效果。.（3）对学习隐藏信息的模型研究：a. 提出了基于数据额外信息的单分类支持向量机；b. 受Fisher判别法的启发，建立了基于隐藏信息的最小化类方差支持向量机； c.建立了利用数据分组信息的相对间隔支持向量机； d.建立了基于特权信息的多分类支持向量机。利用UCI数据集对这些模型进行了测试，实验结果表明这类模型能够大大提高泛化能力。.以上成果发表在国际一流期刊Knowledge-Based Systems，SCI检索期刊Neural Processing Letters，Mathematics Problems in Engineering, Advances in Data Analysis and Classification，EI检索期刊International Journal of Signal Processing, Image Processing and Pattern Recognition等。