第五章 概念描述—特征化与比较.ppt

柱状图分析 基本统计类描述的图形显示 频率直方图 一种单变量图形方法 直方图由一组矩形组成，这些矩形反映类在给定数据中出现的计数或频率 分位数图 显示所有的数据 绘出了分位数信息 每个观测值xi与一个百分数 fi 对应,指出大约 100 fi% 的数据小于等于xi 分位数-分位数图或q-q图 对着另一个分位数 允许用户可以观察从一个分布到另一个分布是否有移位 第五章 概念描述:特征化与比较 什么是概念描述? 数据概化和基于汇总的特征化 解析特征化:属性相关分析 挖掘类比较:区分不同的类 在大型数据库中挖掘描述统计度量 讨论 小结 什么是概念描述? 概念描述 : 特征化: 提供给定数据的简洁汇总 比较: 提供两个或多个数据汇集的比较描述 概念描述与OLAP的比较 概念描述: 能处理复杂数据类型的属性和它们的聚集 更加自动运行 OLAP: 简单的数据分析模型 用户控制运行 数据概化和基于汇总的特征化 数据概化 是一个将大的任务相关的数据集从较低的概念层抽象到较高的概念层 方法: 数据立方体方法 面向属性的归纳方法 1 2 3 4 5 概念上的层次 面向属性归纳 1989年首次提出 基本思想 使用关系数据库查询收集相关的数据 考察数据每个属性的不同值的个数,进行概化 概化可以通过属性删除，或者属性概化进行 与用户交互. 例子 DMQL: 描述了大学数据库毕业学生的情况 use Big_University_DB mine characteristics as “Science_Students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in “graduate” 对应 SQL 语句: Select name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in {“Msc”, “MBA”, “PhD” } 表达---概化关系 交叉表 属性相关分析 为什么? 哪些维要包含进来? 概化到哪个层次? 自动化和交互性 减少属性,提供容易理解的模式 什么? 对预处理数据的统计方法 适当和维与层次关联 概化分析和比较分析 属性相关分析 如何分析? 收集数据 概化分析 相关性分析 选择最相关的维和层次 面向属性归纳的类描述 在选择的维和层次上 OLAP 操作(如上钻，下卷) 熵与信息增益 S 包含 si 个 Ci 类样本 i = {1, …, m} 值为{a1,a2,…,av}，属性为A的熵 A上该划分的获得的信息增益定义为 解析特征化:一个例子 Candidate relation for Target class: Graduate students (?=120) 对比类关系:未毕业学生 (?=130) 3. 相关分析 计算分类需要的相关信息 计算每个属性的熵:如 major Number of grad students in “Science” Number of undergrad students in “Science” 如果S根据属性划分,计算所要的信息 计算每个属性的信息增益 每个属性的信息增益 挖掘类比较 比较：比较两个或者两个以上的类. 方法： 将相关的数据集划分成一个目标类和一个或多个比较类 将所有的类概化到相同的层次 比较相同层次的描述 每个类提供它的描述和两个度量 相关分析： 寻找最好区别两个类的属性 例子:比较分析 任务 运用判别规则区分毕业学生和未毕业学生. DMQL 查询 use Big_University_DB mine comparison as “grad_vs_undergrad_students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa for “graduate_students” where status in “graduate” versus “undergraduate_students” where status in “undergraduate” analyze count% from student 目标类: Graduate students 比较类: Undergraduate students 量化区分规则 Cj =