第二章：数据预处理2概述.pptx

数据挖掘;本章内容;2.0 认识数据;2.0 认识数据 – 数据对象与属性类型;2.0 认识数据 – 数据对象与属性类型;2.0 认识数据 – 数据对象与属性类型;2.0 认识数据 – 数据对象与属性类型;2.0 认识数据 – 数据对象与属性类型;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;2.0 认识数据 – 数据基本统计描述;本章内容;现实世界的数据是“脏的” 不完整(incomplete) 缺少数据值；缺乏某些重要属性；仅包含汇总数据 有噪声(noisy) 包含错误或者孤立点(outliers) 数据不一致(inconsistent) e.g., 在编码或者命名上存在差异 e.g., Age=“42” Birthday=“03/07/1997” ;广为认可的数据质量多维度量 精确度 完整度 一致性 时效性 ;2.1 为什么要预处理数据;2.1 为什么要预处理数据;本章内容;2.2 数据清洗;2.2 数据清洗;2.2 数据清洗;2.2 数据清洗;2.2 数据清洗;分箱方法 price的排序后数据：4，8，15，21，21，24，25，28，34 划分为（等深的）箱： 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱平均值平滑： 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 用箱边界平滑： 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34;回归;通过聚类分析检测离群点，消除噪声：聚类将类似的值聚成簇。直观的，落在簇集合之外的值被视为离群点;本章内容;2.3 数据集成和变换;2.3 数据集成和变换;2.3 数据集成和变换;2.3 数据集成和变换;2.3 数??集成和变换;2.3 数据集成和变换;2.3 数据集成和变换;数据变换：将数据转换或统一成适合挖掘的形式 平滑：去除数据中的噪声 聚集：汇总，数据立方体的构建 数据泛化：沿概念分层向上汇总 规范化：将数据按比例缩放，使之落入一个小的特定区间 最小－最大规范化 z-score规范化 小数定标规范化 属性构造：通过现有属性构造新的属性，并添加到属性集中；以增加对高维数据的结构的理解和精确度;最小－最大规范化 z-score规范化：最大最小值未知，或者离群点影响较大的时候适用 小数定标规范化 ;本章内容;2.4 数据归约;2.4 数据归约;2.4 数据归约;2.4 数据归约;2.4 数据归约 - 数值规约;2.4 数据归约 - 数值规约;2.4 数据归约 - 数值规约;2.4 数据归约 - 数值规约;2.4 数据归约 - 数值规约;2.4 数据归约 - 离散化和概念分层;典型方法 分箱（binning） 直方图分析（histogram） 聚类分析 通过自然划分分段 自然划分分段:将数值区域划分为相对一致的、易于阅读的、看上去更直观或自然的区间 聚类分析产生概念分层可能会将一个工资区间划分为：[51263.98, 60872.34] 通常数据分析人员希望看到划分的形式为[50000，60000] ;分类数据是指无序的离散数据，它有有限个值（可能很多个）。 根据在给定属性集中，每个属性所包含的不同值的个数，可以自动的生成概念分成；不同值个数最多的属性将被放在概念分层的最底层。 ;Data attribute types: nominal, binary, ordinal, interval-scaled, ratio-scaled Many types of data sets, e.g., numerical, text, graph, Web, image. Basic statistical data description: central