探索数据.pptVIP

(C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 数据挖掘: 探索数据 什么是数据探索? 数据探索的主要目的 有助于选择合适的数据预处理和数据分析技术 可以通过对数据进行直观检查来发现模式 数据探索中使用的某些技术（如可视化）可以用于理解和解释数据挖掘结果。 鸢尾花（Iris） 本章用到的数据集鸢尾花. 150种鸢尾花的信息，每50种取自三个鸢尾花种之一 三种花类型 (classes): Setosa(带刺的) Virginica （杂色的） Versicolour（处女花） 四个属性描述 萼片长度和宽度（厘米） 花瓣长度和宽度（厘米） 汇总统计（Summary Statistics） 汇总统计是量化的（如均值和标准差），用单个数或数的小集合捕获可能很大的值集的各种特性 例子：家庭平均收入 大部分汇总统计只需要简单的计算就可得到结果 频率和众数（Frequency and Mode） 频率定义为 众数定义：具有最高频率的值 百分位数（Percentiles） 对于有序数据，考虑值集的百分位数更有意义. 给定一个有序的或连续的属性x和0与100之间的数p，第p个百分位数xp是一个x值，使得x的p%的观测值小于xp。 例3.2? 从1到10的整数的百分位数x0%, x10%,..., x90%, x100%依次为：1.0, 1.5, 2.5, 3.5, 4.5, 5.5, 6.5, 7.5, 8.5, 9.5, 10.0。按照惯例，min(x) = x0%，而max(x) = x100%。??????????????????????????? 位置度量:均值和中位数（ Mean and Median） 对于连续数据，两个使用最广泛的汇总统计是均值（mean）和中位数（median），它们是值集位置的度量。 均值和中位数定义 位置度量:均值和中位数（ Mean and Median） 均值对于离群值很敏感；对于包含离群值的数据，中位数又一次提供值集中间的一个更稳健的估计。 截断均值（trimmed mean）：指定0和100之间的百分位数p，丢弃高端和低端(p/2)%的数据，然后用常规的方法计算均值，所得的结果即是截断均值。 位置度量:均值和中位数（ Mean and Median） 中位数是p = 100%时的截断均值，而标准均值是对应于p = 0%的截断均值。 例3.3? 考虑值集{1, 2, 3, 4, 5, 90}。这些值的均值是17.5，而中位数是3.5，p = 40%时的截断均值也是3.5。 散布度量: 极差和方差（Range and Variance） 连续数据的另一组常用的汇总统计是值集的弥散或散布度量。这种度量表明属性值是否散布很宽，或者是否相对集中在单个点（如均值）附近。 最简单的散布度量是极差（range）。 x的极差定义为：给定一个属性x，它具有m个值{x1,..., xm} ? range(x) = max(x) - min(x) = x(m) - x(1)?? 散布度量: 极差和方差（Range and Variance） 极差：最大值和最小值的差 方差： 均值和方差对离群值很敏感，这样常常需要使用值集散布更稳健的估计. 绝对平均偏差、中位数绝对偏差、四分位数极差 多元汇总统计 包含多个属性的数据（多元数据）的位置度量可以通过分别计算每个属性的均值或中位数得到。 对于具有连续变量的数据，数据的散布更多地用协方差矩阵（covariance matrix）S表示 两个属性的协方差是两个属性一起变化并依赖于变量大小的度量。 可视化 动机1：是人们能够快速吸取大量可视化信息，并发现其中的模式 动机2：解释模式 可视化 数据可视化是指以图形或表格的形式显示信息. 成功的可视化需要将数据转化成可视的形式，使得能够借此分析或报告数据的特征和属性之间的关系。 可视化的目标是可视化信息的人工解释和信息的意境模型的形成 例子:海洋表面温度 以摄氏度为单位显示1982年7月的海洋表面温度 (SST) 这张图汇总大约250000格数据,容易看出，海洋温度在赤道最高，而在两极最低。 表示 表示：将数据映射到图形元素（如:用点表示对象） 可视化是将信息映射成可视形式，即将信息中的对象、属性和联系映射成可视的对象、属性和联系。就是说，数据对象、它们的属性，以及数据对象之间的联系要转换成诸如点、线、形状和颜色等图