数据挖掘04-回归分析教材课程.pptVIP

* 人工神经网络 Artificial Neural Networks，ANN 描述非线性依赖关系 ANN的结构 输入神经元：自变量 输出神经元：应变量 中间神经元：由设计者决定 性能 激励函数 训练的结果：偶合系数或权重（weight） * 人工神经网络 * 人工神经网络 ANN的输入 通常输入值限制在[0，1] 数值型：数据归一化（最小-最大归一法P32，适合ANN） 分类型：转换为亚变量 结果形式 确定结构的偶合系数或权重（weight） * 三层ANN 输入层：一个神经元对应一个自变量 输出层：与应变量对应 中间层：神经元个数 * ANN的优点 (1)能够反映自变量间的相互作用 (2)抗噪能力较强 (3)适合反映非线性关系 ANN的缺点 (1)训练过程复杂 (2)不可解释性 * 讨论 若干因素对癌症患者预后的影响 自变量，2个 1)阳性淋巴结个数 X1：无，少量，大量 2)原发肿瘤部位 X2：1 穿透浆膜，0 未穿透 应变量：预后（如5年生存或死亡） 采集数据：学习样本 1514例，测试样本787例 设计模型，表达因素间关系 * 讨论 如何选择模型？ 数据预处理？ 性能评价？ * ANN结果分析 问题：哪个模型更适合本项研究？ A B 1 0 1 0 * 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 * 回归树 回归树 用逻辑推理的方式完成预测 输出分类型的回归预测值 数值型=分类型 表达形式易理解 当回归预测值为分类型时，回归和分类相似 * 回归树 结构 树形结构 根：包含全体数据，归纳推理的起点 内部节点：选用一个属性进行分割 叶子节点：表示一个终点事件 分叉：分割的一个部分 分叉原则：使各个分枝中分类的一致性最高 终止原则：误差符合预定要求 * 回归树结构 根节点 root 叶子节点 leaf 中间节点 Intral node 分支 brance Chest pain 胸部疼痛 HR 心率 Nausea 反胃 MI 心梗 * 回归树 性能 正确性 训练误差 测试误差 简洁性：层次、分支 结果的形式 产生式规则：IF THEN * 例：回归树 生物医学数据挖掘 上海交通大学医学院 生物信息学平台 龚著琳 * 第二章 数据采集与准备 一．数据的采集和组织 二. 数据管理 三．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 回顾 * 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 * 一.功能目的 揭示响应变量随一个或几个自变量的变化而发生响应的规律 多种形式：线性/非线性、ANN、决策树 结果：模型 作用：预测型 第三章 回归分析 * 一般过程 * 一元线性回归 P36 误差 * * * 几种模型 （１）线性函数形式 （２）二次函数形式 （３）高次方程形式 （４）指数函数形式 * * * 理解回归输出 * X（剂量） Y（降压幅度） 5 10 10 13.5 15 15.5 20 17 25 18 非线性回归转换为线性 原始数据： 转换后： X’=lnX Y（降压幅度） 1.609 10 2.303 13.5 2.708 15.5 2.996 17 3.209 18 * 分类型变量在回归方程中如何使用？ 哑变量 分类型变量（二值、排序型除外） 转变为数值型（增加变量） 例：属性”分布形式”有5个取值 * 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 * Logistic回归 多元线性回归 y＝β0+β1X1+β2X2+…+βpXp y为数值变量 若y为分类变量：发生/未发生，阳性/阴性等，则以上模型不适用 用发生的概率P来代替 y p＝β0+β1X1+β2X2+…+βpXp * Logistic回归 Logistic回归是一种非线性的模型 适用于：应变量为二值（1和0） 如：发生/未发生、阳性/阴性、有效/无效 计算P(事件发生/不发生的概率) * Logistic回归 Logistic 回归模型为:概率模型 ln[P/(1-P)]=β0+β1X1+…+βpXp 或： exp(β0+β1X1+…+βpXp)