数据挖掘05-分类培训资料.pptVIP

* 二、分类的方法 ANN神经网络分类器 * 二、分类的方法 近邻分类器 无显式模型 计算相似性 单个特征：如身高，相差小则更相似 两个特征： DBADBC ，B和A较相似 。A B。 。C 两个特征：近邻分类器，P67 式4.16 第四章 分类 上海交通大学医学院 生物信息学平台 龚著琳 * 内容 一、分类的功能 二、分类的方法 三、分类的应用1 四、分类的应用2 * 一、分类的功能 定义：根据特征属性的值，确定属于预先知道类别中的哪一类。 特征属性：归类的依据，数值型或分类型等 类别标记：预先知道类别中的一种。 （聚类：预先不知道） 上述两项存在因果关系 * * 一、分类的功能 一般方法 建模 测试 应用 再学习 建模（学习） 测试 分类 * 一、分类的功能 步骤（2）：使用模型进行分类 * 一、分类的功能 分类模型性能 分类正确率 计算成本 鲁棒性（robustness） 扩展性（scalability） 可解释性（interpretability） * 一、分类的功能 评估分类模型 随机分组：训练集2/3和测试集1/3 交叉验证：如10折交叉验证 留一法 * 二、分类的方法 性能依赖的因素 分类依据－特征属性的选择 分类器的选择 * 二、分类的方法 特征属性的选择（数值型） 可靠性：类内距离，越小可靠性越高 可区别性：类间距离，越大可区别性越高 Fisher系数：综合考虑以上两项，越大分类效果越好 独立性：相关性－0：特征间完全不相关 1：特征间高度相关 * * 二、分类的方法 特征属性的选择（分类型） 例4.5，计算信息增益 相似性度量（第五章） 分类2类，如何实现 直接分类 逐次降阶： 和 ↓ 和 ↓ 和 * 二、分类的方法 常用分类器 决策树 基于统计（贝叶斯分类器） ANN 近邻分类器 遗传算法 粗糙集 模糊集 …… * 二、分类的方法 决策树分类器 树结构 内部节点：属性 分支 叶结点：所属分类 决策树的生成过程 树的建构 树剪枝 决策树的使用:为一个未知的样本分类 * 二、分类的方法 由决策树提取分类规则 用IF-THEN规则的形式表达知识 规则易于理解 例如 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ * 二、分类的方法 决策树分类器 所有属性为分类型，可计算信息增益Gain。 选择具有高信息增益的属性。越大，分类效果越好 信息增益公式，P62 式4.10~12 类别Ci的熵 特征属性A的信息增益 * 二、分类的方法 决策树分类器 例 ：P62 例4.5 计算学习样本集的熵： 计算特征属性的信息增益： * 二、分类的方法 决策树分类器-信息增益 “年龄”的信息增益最大，因此，根节点为“年龄” 按信息增益，可去掉“血脂” * 二、分类的方法 决策树分类器 不按信息增益值，以“血压”来分类 * 二、分类的方法 决策树分类器 两种分类方法的比较： 方法1：2层，简洁，易理解、易解释； 方法2：3层 方法1：用到3个特征属性，舍去信息增益小的、对结果无影响； 方法2：用到4个特征属性 * 二、分类的方法 决策树分类器－按最大比例 例 ：P62 例4.5