adaboost算法原理.pptVIP

Adaboost 对于m=1，在权值分布为D1（10个数据，每个数据的权值皆初始化为0.1）的训练数据上，经过计算可得： 阈值v取2.5时误差率为0.3（x 2.5时取1，x 2.5时取-1，则6 7 8分错，误差率为0.3）， 阈值v取5.5时误差率最低为0.4（x 5.5时取1，x 5.5时取-1，则3 4 5 6 7 8皆分错，误差率0.6大于0.5，不可取。故令x 5.5时取1，x 5.5时取-1，则0 1 2 9分错，误差率为0.4）， 阈值v取8.5时误差率为0.3（x 8.5时取1，x 8.5时取-1，则3 4 5分错，误差率为0.3）。 所以无论阈值v取2.5，还是8.5，总得分错3个样本，故可任取其中任意一个如2.5，弄成第一个基本分类器为： 从而得到G1(x)在训练数据集上的误差率（被G1(x)误分类样本“6 7 8”的权值之和）e1=P(G1(xi)≠yi) = 3*0.1 = 0.3。 然后根据误差率e1计算G1的系数： 这个a1代表G1(x)在最终的分类函数中所占的权重，为0.4236。 迭代过程1 Adaboost 迭代过程1 接着更新训练数据的权值分布，用于下一轮迭代： 值得一提的是，由权值更新的公式可知，每个样本的新权值是变大还是变小，取决于它是被分错还是被分正确。 即如果某个样本被分错了，则yi * Gm(xi)为负，负负等正，结果使得整个式子变大（样本权值变大），否则变小。 第一轮迭代后，最后得到各个数据新的权值分布D2 = (0.0715, 0.0715, 0.0715, 0.0715, 0.0715, 0.0715, 0.1666, 0.1666, 0.1666, 0.0715)。由此可以看出，因为样本中是数据“6 7 8”被G1(x)分错了，所以它们的权值由之前的0.1增大到0.1666，反之，其它数据皆被分正确，所以它们的权值皆由之前的0.1减小到0.0715。 分类函数f1(x)= a1*G1(x) = 0.4236G1(x)。 此时，得到的第一个基本分类器sign(f1(x))在训练数据集上有3个误分类点（即6 7 8）。 从上述第一轮的整个迭代过程可以看出：被误分类样本的权值之和影响误差率，误差率影响基本分类器在最终分类器中所占的权重。 Adaboost 迭代过程2 对于m=2，在权值分布为D2 = (0.0715, 0.0715, 0.0715, 0.0715, 0.0715, 0.0715, 0.1666, 0.1666, 0.1666, 0.0715)的训练数据上，经过计算可得： 阈值v取2.5时误差率为0.1666*3（x 2.5时取1，x 2.5时取-1，则6 7 8分错，误差率为0.1666*3）， 阈值v取5.5时误差率最低为0.0715*4（x 5.5时取1，x 5.5时取-1，则0 1 2 9分错，误差率为0.0715*3 + 0.0715）， 阈值v取8.5时误差率为0.0715*3（x 8.5时取1，x 8.5时取-1，则3 4 5分错，误差率为0.0715*3）。 所以，阈值v取8.5时误差率最低，故第二个基本分类器为： 面对的还是下述样本： 很明显，G2(x)把样本“3 4 5”分错了，根据D2可知它们的权值为0.0715, 0.0715, 0.0715，所以G2(x)在训练数据集上的误差率e2=P(G2(xi)≠yi) = 0.0715 * 3 = 0.2143。 Adaboost 迭代过程2 计算G2的系数： 更新训练数据的权值分布： D3 = (0.0455, 0.0455, 0.0455, 0.1667, 0.1667, 0.01667, 0.1060, 0.1060, 0.1060, 0.0455)。被分错的样本“3 4 5”的权值变大，其它被分对的样本的权值变小。 f2(x)=0.4236G1(x) + 0.6496G2(x) 此时，得到的第二个基本分类器sign(f2(x))在训练数据集上有3个误分类点（即3 4 5）。 封面 目录 过渡 过渡 过渡 过渡 图表 图片 文字 文字 文字 图片 文字 文字 文字 文字 文字 文字 封底 Adaboost Adaboost 算法的原理与推导 目录 1 2 3 Adaboost算法基础 Adaboost算法原理 Adaboost算法示例 Adaboost 1 Adaboost算法基础 Adaboost 分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型（即：分类器(Classifier)）。