数据挖掘03-数据预处理教程文件.pptVIP

上海交通大学医学院 生物信息学平台 龚著琳 生物医学数据挖掘Biomedical Data Mining * 第一章 概论 四.数据挖掘性能评价 第二章 数据采集与准备 一．数据的采集和组织 二．数据管理 回顾 * 第二章 数据采集与准备 一．数据的采集和组织 二．数据管理 三. 数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 * 数据预处理 1.目的 ① 提高数据的质量 处理不好的数据 降低维数 ② 数据质量的表现 完整性 合理性 一致性 No quality data, no quality mining results! * 第二章 数据采集与准备 一．数据的采集和组织 二．数据管理 三．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 * 例：两组数据 A组{6,6,7,8,8} B组{5,6,7,8,9} ？两组数据的离散程度 分布趋势和散布特性 * 例： 例：某地男孩 出生体重：X1＝ 3.30kg，S1=0.44kg 18岁体重：X2＝56.10Kg，S2=5.50Kg ？两组数据的离散程度 * 数据预处理的形式 * 第二章 数据采集与准备 一．数据的采集和组织 二．数据管理 三．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 5. 数据精简 * 数据预处理 3.数据清洗 目的：填写缺失值，平滑噪声数据 ①数据缺失 直接删除记录 丢弃属性 如何弥补？ 取属性均值 取同类均值 用最可能的值 * 数据预处理 3.数据清洗 ② 数据噪声:随机性干扰 波动 分组平滑 均值平滑 中值平滑 边界平滑 回归平滑 聚类平滑 * 分组平滑 例如：一位受试者检测得的收缩压原始数据序列是：129，131，124，136，131，132，138，134，139，……。（P29） 效果较差 好 * 分组平滑 例如：排序后的数据是：4，8，9，15，21，21，24，25，26，28，29，34。 * 回归平滑 * 聚类平滑 * 第二章 数据采集与准备 一．数据的采集和组织 二．数据管理 三．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 * 4.数据整合 ①目的：纠正不一致数据 ②基本任务：将多个数据源中的数据整合 ③方法： 实体识别 消除冗余 消除重复记录 数据值不一致 * 第二章 数据采集与准备 一．数据的采集和组织 二．数据管理 三．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 * 数据预处理 5.数据变换 ①目的：变换原始数据取值范围或类型 ②类型变换 分类型－数值型（神经网络） 数值型－分类型（决策树） * 数据预处理 5.数据变换 ③数值归一化 十进计数法 最小-最大归一法 Z-Score 对数归一法 * 讨论 例：若舒张压原始数据为：90,110,105,140,220,138,182,205,105,110 则，进行下列数据变换后的新数据是？ (1)十进计数法 (2)最小-最大归一法 (3)Z-Score (4)对数归一化 * * *