数据挖掘02-性能评价 数据的采集和组织培训资料.pptVIP

生物医学数据挖掘Biomedical Data Mining 上海交通大学医学院 生物信息学平台 龚著琳 * 回顾 第一章 概论 一、什么是数据挖掘 二、数据挖掘的过程 三、数据挖掘方法的分类 预测型 描述型 * 第一章 概论 一、什么是数据挖掘 二、数据挖掘的过程 三、数据挖掘方法的分类 四、数据挖掘性能评价 评价准则 样本的组织 预测型模型的性能评价 描述型模型的性能评价 * 评价准则：结果或模型 准确性 可理解性 性能 数据的噪声 四、数据挖掘性能评价 * 样本的组织 所有样本属性已知 两类样本：相互独立 学习样本/训练样本集：规律的总结 测试样本集：评价、检验 四、数据挖掘性能评价 * 交叉验证法： 如 K折交叉验证法（一般随机分成10组） 留一法：适用样本数据更少的情况 两类样本的分组 * 举例 例1.预测型模型 肺癌 干预(手术/手术＋化疗)及预后（五年生存） 共5万个样本，其中1.7万干预后5年内死于肺癌 如何组织数据进行数据挖掘？ * 例2. 共1000个，其中315个五年内死亡 如何组织数据？ 例3. 共49个，14个5年内死亡，35个存活 如何组织数据？ * 总结： 随机，分布与总体相近 计算成本的考虑 样本要保证足够多，但不只是数量的多少 * 预测型模型的性能评价 残差 混淆矩阵 P11 灵敏度（sensitivity） 特异度（specificity） 分类正确率（accuracy） ROC（receiver operating characteristics curve）曲线 四、数据挖掘性能评价 * 灵敏度 特异度 分类正确率 四、数据挖掘性能评价 分类/预测 阳性 分类/预测 阴性 实际阳性 TP FN 实际阴性 FP TN * 例：ECG(electrocardiogram)诊断试验的结果 心肌梗塞 ECG诊断结果 合 计 阳 性 阴 性 出现 不出现 合计 416(TP) 104（FN） 520 9 (FP) 171（TN） 180 425 275 700(N) 灵敏度=？ 特异度=？ 分类正确率=? * 灵敏度与特异度 取值：均在0-1之间 缺点：单独使用，可能出现矛盾 解决办法：ROC曲线 * ROC曲线 灵敏度与特异度间的平衡(trade off) 四、数据挖掘性能评价 1－特异度（假阳性率） 灵敏度 机率线(chance line)(diagonal reference line) * 完美结果 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R 无用结果 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R * ROC曲线下面积（Area） 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F) 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R A ＝ 0.664 A ＝ 0.830 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R A ＝ 0.938 * 例4. 继续前例， 干预及预后（五年生存） 共5万个样本，其中1.7万干预后，5年内死于肺癌，其余3.3万存活。 假定对上述数据分别建立了预测型模型A和B， 试比较两个模型的性能。 * 预测为死亡 预测为生存 实际死亡例数 13940 3060 17000 实际生存例数 6600 26400 33000 50000 预测为死亡 预测为生存 实际死亡例数 12470 4530 17000 实际生存例数 5130 27870 33000 50000 模型A 模型B * 比较模型A与B： 灵敏度 特异度 正确率 ROC 模型A 81.8% 80.0% 80.7% 0.81 模型B 73.4% 84.5% 80.7% 0.79 * 性能评价的作用： 如实表明，描述模型的性能 可以比较，模型性能的优劣、高低 同一问题可多个模型 即使仅一个模型，可设计多个参数 * 总结 第一章 概论 一、什么是数据挖掘 二、数据挖掘的过程 三、数据挖掘方法的分类 四、数据挖掘性