软件工具用adaboost元算法提高分类效能-peaker.pdfVIP

#软件工具#用AdaBoost元算法提高分类效能

peaker

当作重要决定时大家可能会考虑吸收多个专家而不是一个人的意

见。机器学习处理问题也是一样的，这就是元算法背后的思路。元算

法是对其他算法进行组合第式。今天我们就介绍其中一种最流

行的元算法——AdaBoost算法。

基于数据集多重抽样的分类器

在机器学习方法中有不同的分类器，如SVM，决策树，随机森林，

逻辑回归等等，他们各有各的优缺点。我们自然可以将不同的分类器

组合起来，而这种组合结果被称为集成方法或元算法。使用集成算法

时会有多种形式：可以是不同算法的集成，也可以是统一算法在不同

设置下的集成，还可以是数据集不同部分分配给不同分类器的集

成。

AdaBoost的特点包括

1.优点：错误率低，容易编码，可以应用在大部分分

类器上，无参数调整

2.缺点：对离群点敏感

3.适用数据类型：数值型和标称型数据

AdaBoost的一般流程

Boosting算法是一种与bagging算法类似的技术，所使用的多个

分类器类型都是一致的，但是在bagging算法中不同分类器是通过串

行训练而获得的，每个新分类器都根据已训练出的分类器的性能来进

行训练。Boosting是通过集中关注被已有分类器错分的那些数据来获

得新的分类器。一般流程为

1.收集数据：可以使用任何方法

2.准备数据：依赖于所使用的弱分类器模型，这里我们用

单层决策树，这种分类器可以处理任何数据类型。

3.分析数据：可以使用任意方法

4.训练算法：AdaBoost的大部分时间都用于训练上，分类

器讲多次在同一个数据集上训练弱分类器。

5.测试算法：计算分类的错误率

6.使用算法：同SVM一样，AdaBoost预测两个类别中的一

个，如果想将它应用到多个类别的场合，那么就要像多类SVM中

的做法一样对AdaBoost进行修改。

训练算法：基于错误提升分类器的效能

能否使用弱分类器和多个实例来构建一个强分类器？这是一个非

常有趣的理论问题。这里的弱意味着分类器的性能比随机猜测略好，

但不会好太多，也就是说在二分类情况下弱分类器的错误率会高于50%，

而强分类器的错误率会低很多。

AdaBoost的算法示意图，左边为数据集，其中直方图的不同宽度

代表每个阳本上的不同权重。在经过一个分类器，的预测结

果会通过三角形中的alpha值进行。每个三角形中的输出的

结果在圆形中求和，从而得到最终的输出结果。训练过程代码如下

第一部分为下一次迭代计算D值，第二部分为错误率累加计算。

则用AdaBoost实现分类预测的方法代码如下所示

上面定义的adaClassify()函数就是利用训练出的多个弱分类器

进行分类的函数。该函数的输入是一个或多个待分类的datToClass以

及多个弱分类器组成的数组classifierArr。函数adaClassify()首先

将datToClass转换成一个numpy矩阵，并且得到dat