孪生支持向量机理论算法及其应用研究

Twin support vector machines as a hot research field of machine learning，it's wide attention by the researchers both at home and abroad. The mathematical model of TWSVM is the two programming problem with inequality constraints. From the time complexity analysis, when the approximate solution is obtained, it is more advantageous to solve the two programming problems directly in the original space than the traditional method. In this project we will study directly solve the approximate solution of TWSVM in the original space, and propose three fast TWSVM classification algorithm. Using polynomial function as the smooth function, designing a membership function method, which gives different importance for each training sample according to the sample point positions, a method called weighted smooth twin support vector machines model is proposed and then is used to study the text classification. Based on KKT complementary condition, unconstrained non-differential optimization model for TWSVM is proposed. An adaptive adjustable entropy function method is given to train the proposed model.Introducing the least squares method, a least squares version of twin parametric insensitive support vector machines will be proposed. The convergence of the proposed algorithms are proved theoretically, and the effectiveness of the proposed algorithms are verified by experiments, which provides a new idea for the research of fast classification.

孪生支持向量机(Twin Support Vector Machines, TWSVM)作为机器学习领域的研究热点，受到国内外学者的广泛关注。TWSVM的数学模型是带有不等式约束的二次规划问题，从时间复杂度分析，当求近似解时，在原始空间直接求解二次规划问题比传统求解方法更有优势。本项目将研究直接在原始空间求解TWSVM的近似解，提出三种快速的TWSVM分类算法。采用多项式函数族作为光滑函数，根据样本位置的不同赋予其不同的权重，提出加权光滑孪生支持向量机分类模型并将其应用到壮语文本分类中；建立TWSVM的无约束不可微优化模型，并采用自适应调节最大熵函数法作为所提模型的求解方法；引入最小二乘方法，提出最小二乘孪生参数化不敏感支持向量机分类模型。本项目将从理论上证明所提算法的收敛性，同时从实验上验证所提算法的有效性，为研究快速分类方法提供新的思路。

孪生支持向量机(Twin Support Vector Machines, TWSVM)学习算法的研究是该理论的重点和难点之一。为了提高TWSVM的泛化性能，本项目主要做了如下的工作。第一，对光滑孪生支持向量机的新方法进行研究。首先，针对目前光滑孪生支持向量机中采用的Sigmoid光滑函数逼近精度低的问题，采用具有更强逼近能力的函数作为光滑函数，提出了一种新的光滑孪生支持向量分类机模型。其次，针对光滑孪生支持向量机没有考虑到样本位置对算法性能影响的问题，本项目设计了一种隶属度函数，根据样本位置的不同赋予其不同的权重，提出了加权光滑孪生支持向量分类机模型，从理论上证明其收敛性，从数值仿真实验验证了所提算法的可行性和有效性。第二，对TWSVM的无约束不可微近似求解方法进行研究。根据优化理论中的Karush-Kuhn-Tucker (KKT)互补条件，建立了TWSVM的无约束不可微优化模型，并采用可以直接求解不可微优化问题的自适应调节最大熵函数法作为所提模型的求解方法。该方法在参数值较小的情况下就可逼近问题的最优解，克服了传统最大熵函数法需取很大的参数值才能逼近最优解，并且有可能导致数值溢出的问题。第三，对最小二乘孪生参数化不敏感支持向量机进行研究。首先，引入最小二乘方法，将孪生参数化不敏感支持向量机(Twin Parametric Insensitive Support Vector Machines, TPISVM)的两个二次规划问题转化为两个线性方程组问题，提出了最小二乘孪生参数化不敏感支持向量机(Least Square TPISVM, LSTPISVM)，从理论上分析LSTPISVM的计算复杂性。其次，鉴于LSTPISVM的参数较多的问题，提出了一种具有快速全局搜索能力的混沌布谷鸟优化算法，并将其作为LSTPISVM的参数选择方法，提高LSTPISVM参数寻优的效率。