数据仓库与数据挖掘.pptVIP

数据仓库与数据挖掘 事务处理需求（OLTP） 不同的事务处理子系统 采购子系统：订单、订单细则、供应商 销售子系统：顾客、销售 库存子系统：出库领料单、进料入库单、库存台帐 人事子系统：员工、部门 各种事务处理需求 一笔订购、一笔销售、一次进料、一次出料 要求 强调多用户并发环境，数据的一致性、完整性 分析处理需求(OLAP) 今年销售量下降的因素（时间、地区、商品、销售部门） 某种商品今年的销售情况与以往相比，有怎样的变化？每年的第一季度商品销售在各类商品上的分布情况怎样？ 要求 多个子系统中的数据（数据集成） 历史数据 汇总、综合的数据 数据仓库的定义 数据仓库是一种面向主题的数据管理技术，它提供集成化的、历史的数据管理功能，支持综合性的数据分析，特别是战略分析。 数据仓库构成了DSS 和DBMS的技术基础，它必将推动DSS研究的全面发展和方法的实用性化。 通俗的解释 人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。 特征及体系结构 数据仓库的特征 数据仓库的体系结构 数据仓库的体系结构 一个完整的数据仓库结构一般由6个基本层次组成 1)数据源层。 2)数据后端处理层。 3)数据仓库及其管理层(包括源数据管理)。 4)数据集市层。 5)数据仓库应用层(或称前端处理层)。 6)数据展示层。 数据仓库层次结构示意图 数据展示层 数据挖掘 定义：数据挖掘(Data Mining)，就是从存放在数据库，数据仓库或其他信息库中的大量的数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。 经典案例——尿布与啤酒 在一家超市中，人们发现了一个特别有趣的现象：尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的稍量大幅增加了。这可不是一个笑话，而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例。 原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。这个发现为商家带来了大量的利润，但是如何从浩如烟海却又杂乱无章的数据中，发现啤酒和尿布销售之间的联系呢？这又给了我们什么样的启示呢？ 数据挖掘能做以下七种分析方法 分类 （Classification） 估计（Estimation） 预测（Prediction） 相关性分组或关联规则（Affinity grouping or association rules） 聚类（Clustering） 描述和可视化（Description and Visualization） 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 数据挖掘分类 直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 。 数据挖掘过程和主要步骤 数据挖掘过程简介  (1).确定业务对象 　　 　(2). 数据准备 　　1)、数据的选择 　　2)、数据的预处理 　　3)、数据的转换 (3). 数据挖掘 　　 (4). 结果分析 　　　　 (5). 知识的同化 数据挖掘的发展前景 当前数据挖掘应用主要集中在电信、零售、农业、网络日志、银行、电力、生物、天体、化工、医药等方面。看似广泛，实际应用还远没有普及。而据Gartner的报告也指出，数据挖掘会成为未来10年内重要的技术之一。而数据挖掘，也已经开始成为一门独立的专业学科。 具体发展趋势和应用方向主要有：对知识发现方法的研究进一步发展，如对Bayes和Boosting方法的研究和提高；商业工具软件不断产生和完善，注重建立解决问题的整体系统，例如Weka等软件。 数据挖掘的发展应是挖掘工具在先进理论指导下的改进，而就国内情况而言，还有至少20年的发展空间。 决策支持系统(decision support system ，简称DSS)是辅助决策者通过数据、模型和知识，以人机交互方式进行半结构化或非结构化决策的计算机应用系统。 它是管理信息系统(MIS)向更高一级发展而产生的先进信息管理系统。它为决策者提供分析问题、建立模型、模拟决策过程和方案的环境，调用各种信息资源和分析工具，