精品机器学习-模型评价与选择.pptVIP

第 2 章模型评估与选择 主要内容 ? 经验误差与过拟合 ? 评估方法 ? 性能度量 ? 比较检验 ? 偏差与方差 误差 ? 误差（ error ）：学习器实际预测输出与样本真实输出之间的差异 ? 训练集：训练误差（ training error ），（经验误差， empirical error ） ? 训练集的补集：泛化误差（ generalization error ） ? 我们希望泛化误差小的学习器 过拟合 ? 过拟合（ overfitting ）：训练过度使泛化能力下降 ? 欠拟合（ underfitting ）：未能学好训练样本的普遍规律 ? 过拟合是机器学习的关键障碍 且不可避免！ ? 模型误差包含了数据误差， 或者说模型信息中包含了噪声。 学习器泛化评估 —— 实验测试 ? 测试集：测试误差（ testing error ） ? 训练集 ?? 和测试集 ?? 组成数据集 ?? 。 ? 假设测试样本是从真实分布中采样而得，避免因数据划分引入偏 差。 ? 测试集应与训练集互斥。 测试方法 数学表达 注意事项 优缺点 留出法 （ hold-out ） ?? = ?? ∪ ?? ?? ∩ ?? = ? 分层采样（ stratified sampling ） 重复试验取平均评估结果 测试集小，评估结果方差较大 训练集小，评估结果偏差较大 交叉验证法 （ cross validation ） ?? = ?? 1 ∪ ? ∪ ?? ?? ?? ?? ∩ ?? ?? = ? (?? ≠ ??) ?? 次 ?? 折交叉验证 稳定性和保真性很大程度取决于 ?? 留一法 （ Leave-One-Out ， LOO ） ?? = ?? 1 ∪ ? ∪ ?? ?? ?? ?? ∩ ?? ?? = ? ?? ≠ ?? ?? = ?? 每次使用一个样本验证 不受随机样本划分方式影响 数据量大时计算量大 自助法 （ bootstrapping ） ?? = ?? ?? = ??\S 可重复采样 / 有放回采样 数据集较小有用 改变初始数据集的分布，引入偏差 调参与最终模型 ? 参数调节（ parameter tuning ） ? 算法参数 → 人工设定候选值 ? 模型参数 → 通过学习产生候选模型 ? 数据集 ? 训练集 → 训练估计模型 验证集 → 模型参数调整 测试集 → 估计泛化能力 ? 学习算法和参数配置确定后要用整个数据集重新训练模型 性能度量 ? 性能度量（ performance measure ）：衡量模型泛化能力的评价标准 ? 回归（ regression ）：均方误差（ mean squared error ） ? 离散数据： ?? ??; ?? = 1 ?? σ ??=1 ?? (?? ?? ?? ? ?? ?? ) 2 ? 连续数据： ?? ??; ?? = ? ??~?? ?? ?? ? ?? 2 ?? ?? ???? ? 分类（ classification ）：错误率（ error rate ）和精度（ accuracy ） ? 离散数据： ?? ??; ?? = 1 ?? σ ??=1 ?? ??(?? ?? ?? ≠ ?? ?? ) , acc ??; ?? = 1 ?? σ ??=1 ?? ??(?? ?? ?? = ?? ?? ) ? 连续数据： ?? ??; ?? = ? ??~?? ?? ?? ?? ≠ ?? ?? ?? ???? , acc ??; ?? = ? ??~?? ?? ?? ?? = ?? ?? ?? ???? 任务需求 —— 以二分类为例 ? 混淆矩阵（ confusion matrix ），非对角，纠缠相 ? 查准率（ precision ）： ?? = ???? ????+???? ? 查全率（ recall ）： ?? = ???? ????+???? ? P-R 曲线 ? 面积、平衡点（ Break-Even-Point ， BEP ） ? ??1 度量： ??, ?? 的调和平均 ? ?? ?? 度量： ??, ?? 的加权调和平均 多混淆矩阵 ? 先分别计算查准率和查全率，再平均 ? 宏查准率（ macro? ?? ）： macro? ?? = 1 ?? σ ??=1 ?? ?? ?? ? 宏查全率（ macro? ?? ）： macro? ?? = 1 ?? σ ??=1 ?? ?? ?? ? 宏 ??1 （ macro? ??1 ） ? 先平均各混淆矩阵对应元素，再计算查准率和查全率 ? 微查准率（ micro? ?? ）： micro? ?? = ???? ????+???? ? 微查全率（ micro? ?? ）： micro? ?? = ???? ????+????