数据挖掘复习资料.docVIP

1 什么是数据仓库？ 数据仓库是一个面向主体的、集成的、时变的、非易失的数据集合，支持管理过程的决策过程 数据仓库排除与对于决策无用的数据，提供特定主题的简明视图。通过集成多个异种数据源而构成 数据仓库总是物理地分离存放数据，这些数据源于操作环境下的应用数据操作性的数据更新不会发生在数据仓库的环境下. 2 联机事务处理OLTP (on-line transaction processing) ??传统的关系DBMS的主要任务 ??他们涵盖了一个组织的大部分日常操作：购买、库存、制造、银行、工资、注册、记账等。 联机分析处理OLAP (on-line analytical processing) ??数据仓库系统的主要任务 ??数据分析和决策 ??OLTP和OLAP的区别 ??用户和系统的面向性:OLTP面向顾客，而OLAP面向市场 ??数据内容：OLTP系统管理当前数据，而OLAP管理历史的数据。 ??数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型 ??视图：OLTP系统主要关注一个企业或部门内部的当前数据，而OLAP 系统主要关注汇总的统一的数据。 ??访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询 3 建立数据仓库模型：维与度量 ??星型模型: 中间是事实表，连接一组维表 ??雪花模式: 雪花模式是星型模式的变种，其中某些维表示规范化的，而数据进一步分解到附加的维表中，它的图形类似于雪花的形状 ??事实星座表: 多个事实表共享维表，这种模式可以看作星型模式及，因此称为星系模式或事实星座 4 分类和预测 ??找出描述并区分数据类和概念的模型（或函数）以便能够使用模型预测类标记未知的对象类。 ??例如：依据气候划分国家类型或者依据每里的耗油量划分汽车类型。 ??表示形式：判定树，分类规则，神经网络。 ??预测：预测某些未知的或空缺的数据值。 ??聚类分析 ??类标记未知：把数据聚类或分组成新的类，例如：把房子聚类来找出房子的分布模式。 ??聚类依据以下原则：最大化类内的相似性和最小化类间的相似性。 5 3-4-5 规则可以将数值数据划分成相对一致和“自然”的区间 ?如果一个区间在最高有效位上包含3，6，7，或9个不同的值，则将该区间划分为3个区间 ?如果在最高有效位上包含2，4，或8个不同的值，则将该区间划分为4个等宽的区间 ?如果在最高有效位上包含1，5，或10个不同的值，则将该区间划分为5个等宽的区间 关联规则 为什麽计算候选集的支持度是一个问题? ??候选集的总数目可能非常大\一个事务可以包含许多的候选集 ??方法:??候选集存储在哈希树中??包含项集和计数列表??内部结点包含了一个哈希表??子集函数: 找出包含在一个事务中的所有候选集 L3={abc, abd, acd, ace, bcd} ??自我连接: L3*L3??由abc和abd产生abcd??由acd和ace产生acde ??剪枝:??删除acde因为ade不在L3??C4={abcd} 提高Apriori的有效性的方法 ??散列项集计数: 如果一个k-项集对应的哈希桶计数低于支持度阈值,则它不可能是频繁的 ??事务压缩: 不包含任何k-项集的事务在以后的扫描中是无用的 ??划分:任何项集如果在DB中是潜在频繁的,那么它至少在DB中的一个划分中是频繁的 ??选样: 在给定数据的一个子集上进行挖掘,低支持阈值+好的策略可以得到完整的频繁项集 ??动态项集计数: 如果一个项集的所有子集已被确定为频繁的,则添加大作为新的候选 Apriori算法足够的快吗?—瓶颈问题的产生 ??Apriori算法的核心: ??使用频繁(k-1)-项集产生候选k-项集??使用数据库扫描和模式匹配为候选项集收集计数 ??Apriori算法中的瓶颈问题: 候选集的产生??大量的候选集:??104个频繁1-项集将生成107个候选2-项集 ??为了发现一个大小为100的频繁模式, 如, {a1, a2, …, a100}, 需要产生2100 ≈1030个候选集 ??数据库的多遍扫描: ??需要(n+1)遍扫描,n是最长项集的长度 不产生候选挖掘频繁项集 ??把一个大型的数据库压缩到一棵频繁模式树(FP-树) ??高浓缩,但对频繁项集挖掘是完整的 ??避免了高花销的数据库扫描 ??产生了一个高效的,基于FP-树的频繁模式挖掘方法 ??分治策略:把挖掘任务分解成小的任务 ??避免候选集的产生:只检测子数据库 FP-树结构的优点 ??完整性: ??不会破坏任何交易的长模式??为频繁模式挖掘保存了完整的信息 ??简洁性??减少了不相关的信息—非频繁项集被删掉 ??频繁项集按支