YF-分类-贝叶斯分类讲义介绍.ppt

1.4 分类的相关问题:数据噪声 1.4 分类的相关问题:维数灾难 分界面的偏移：小类的风险加大 采样方法：上采样和下采样 代价敏感方法 1.4 分类的相关问题:非平衡问题 1.4 分类的相关问题:非平衡问题的准确率评估 把一个类的样本误分成某一类的后果会比分到其它类中的后果更严重。 例：把一个可能回应的家庭误分为不太可能对促销回应的家庭会比相反的情形导致更大的机会成本。在这种场景下，用误分率作为标准会产生误导。 1.4 分类的相关问题:非平衡问题的不对称风险 假设在邮件列表中接受促销的家庭在1％左右。如果一个分类器简单的把所有的家庭都分为不作反应的家庭，那么这个分类器将只有1％左右的误分率，但这在实际应用中没有任何意义。 一个把30％的购买家庭误分为不购买的家庭并且把2％不购买的家庭分类到购买的家庭的分类器，尽管误分率比较高，但如果从销售中得到的收益高于促销的费用，那么这个分类器还是要好些。 1.4 分类的相关问题:非平衡问题的不对称风险 1.估计两种类型的误分费用，可以在测试数据集中用混淆表计算出每种类型的期望误分成本，用机会成本作为标准去比较不同的分类器。 2.改变分类规则去反映不对称费用。存在一个解决不对称费用的贝叶斯分类器，它给出的规则可以最好地减小期望误分机会成本。就是贝叶斯风险分类器，并且最小的期望误分机会成本就是贝叶斯风险。 1.4 分类的相关问题:非平衡问题的解决方案 1.4 分类的相关问题:非平衡问题的解决方案 3.从一个类中额外抽样来加大这个类在误分错误中的权重。如果把正类的例子误分为负类的机会成本是把负类的例子误分为正类的机会成本的10倍，那么我们从正类中进行随机抽样的次数也是从负类中抽样次数的10倍。 1.4 分类的相关问题:非平衡问题的解决方案 1.4 分类的相关问题:非平衡问题的解决方案 1.4 分类的相关问题:非平衡问题的解决方案 小结 分类是一种有监督学习方法 分类主要分成生成式模型和判别式模型两大类方法 贝叶斯方法是“最优”的分类器 决策树方法有其优缺点 分类是应用最广泛的数据挖掘任务 实际问题中应用分类器需要考虑很多因素 Department of Automation, Xiamen University, Sept. 2015 * 板书：先验概率 类条件概率密度 * 板书：最小错误率 《数据挖掘》 厦门大学云计算与大数据研究中心 杨帆 yang@xmu.edu.cn 厦门大学云计算与大数据研究中心 2015年版 杨帆 厦门大学自动化系 E-mail: yang@xmu.edu.cn 第2讲 分类方法-贝叶斯分类 模式分类 提纲 1.1 分类的概念 1.2 分类算法 1.3 贝叶斯分类 1.4 分类相关的问题 1.1 分类的概念：什么是分类 信用卡交易的分类 癌症肿瘤的诊断 蛋白质功能的预测 新闻的分类 人类识别能力与分类： 父母识别出孩子的哭声 在很多背影中认出自己的老友 给定关于真实世界的测量数据的样本以及其所对应的类别，对于未来的未知样本的类别进行正确的预测 1.1 分类的概念：真实世界数据的特点 聚集在模式空间中的某些区域 ——因此我们可以对其进行划分 是部分的、带噪声的数据，在本质上是更大的、未知的分布的采样 ——我们不可能获得所有样本数据 ——我们也不可能得到关于样本的所有特征信息 1.1分类的概念：有监督 分类——有监督学习 聚类——无监督学习 1类 3类 2类 样本 标签信息 1.1 分类的概念：天气预报 1.1 分类的概念：鸢尾花 1.1 分类的概念：要素 样本 示例 训练集 测试集 特征 属性 变量 类标 二分类 多分类 分类器 模型 预测精度 生成式模型 ：联合概率分布 p(x,y) 朴素贝叶斯模型 高斯模型 混合高斯模型 马尔科夫随机场 隐马尔科夫模型 从统计的角度揭示数据的分布规律 反映同类数据之间的联系 1.2 分类算法：生成式 VS. 判别式 判别式模型 ：条件概率分布 p(y|x) 决策树 K近邻 Logistics 回归 神经网络 支持向量机 Adaboost和随机森林 寻找不同类数据之间的最优分类面 强调异类数据之间的差异 1.2 分类算法：最小误分概率 一个不犯错的分类器是完美的 由于存在“噪声数据”，在实际中并不可能构建不犯错的分类器 是否存