基于先验信息的Boosting算法研究

Boosting algorithm is a machine learning algorithm become popular in recent twenty years. It builds base leaner on adaptively sampling and forms a strong learner by adaptively weighted combine. Researchers believe the Booting algorithm is a gradient optimization algorithm based on the certain loss. But in fact, in the face of non-uniformity data, Boosting algorithm will still bring a relatively large bias. The project will introduce a new class of Boosting algorithm with prior information the asymmetric data to reduce this bias. Through the experimental results on simulation data and actual data the new algorithm will be verified that it is statistically supported by theory , and have the same logical structure and the same convergence and other good properties with the former algorithm. The improved models are also verified that it is adaptive in the face of different data and can automatically adjust the parameters to fit the data. In addition, the improved algorithms compare to the original algorithm in the computing speed have the same order of magnitude.

Boosting算法是近二十年来兴起的一种机器学习算法。它是组合算法中的一种。它通过自适应地抽样生成基学习器并将这些基学习器自适应地加权组合形成一个强的学习器。研究者们认为Bootsing算法是一种基于某种损失的梯度优化算法。但是实际上在面对不均匀的数据时，Boosting算法还是会带来比较大的偏差。本项目将针对多种不对称的数据在Boosting算法中引入先验信息，提出一类新的Boosting算法以降低这种偏差。通过在实验数据和实际数据上的实验结果验证新的算法在统计学上是有理论支持的，与改进前的模型有相同的逻辑结构，从而具有同样的收敛性等好的性质。同时还要验证改进的模型具有自适应性，在面对不同的数据的时候可以通过自动的调整参数来适应数据。除此以外，改进的算法在运算速度上与原来的算法将在同一个数量级。

机器学习算法在处理海量数据上显示出它的优势。在处理高维数据时，比起传统建模方法它们有着非常好的抵抗维度灾难的能力。这就使得机器学习算法得到了广泛的应用与不断的发展。Boosting算法正是近二十年来兴起的一种机器学习算法。它是组合算法中的一种。它通过自适应地抽样生成基学习器并将这些基学习器自适应地加权组合形成一个强的学习器。Boosting算法这样的完全非参数的方法在数据已知某些信息的情况下不能自动的考虑这种先验信息。本课题将研究如何将已知的某些先验信息引入到Boosting算法中，提出一类新算法，从而提高算法在各种数据上的自适应性。.本课题提出了一种基于先验信息的Priori-Adaboost算法，该算法是指数损失下基于均匀先验分布的最优解，并且在这个算法中解释了算法每一步权重的更新实际上是基于上一步的后验分布作为先验分布，再计算后验分布，以此递推。该算法会在每一步的迭代中通过部分假设引入先验信息，从而还是起到自适应的效果。该算法比起Adaboost算法在处理不平衡数据方面有着更好的效果。并且该框架揭示出Adaboost算法实际上也是以均匀分布作为先验的一种迭代算法。如果在不考虑指数损失的目标下，基于上述Boosting算法的新框架，本课题提出了一种基于距离的boosting算法。试验结果表明这种框架是可行的。