DSS(第五章).pptVIP

1 第五章 数据仓库与OLAP 数据库的回顾 为什么要有数据仓库 数据仓库的概念 OLAP 2 数据库的定义 数据库(Database,简称DB)是长期储存在计算机内、有组织的、可共享的大量数据集合 数据 数据(Data)是数据库中存储的基本对象 数据的定义 描述事物的符号记录 数据的种类 文字、图形、图象、声音 数据的特点 数据与其语义是不可分的 3 数据举例 学生档案中的学生记录 （李明，男，1972，江苏，计算机系，1990） 数据的形式不能完全表达其内容 数据的解释 语义：学生姓名、性别、出生年月、籍贯、所在系别、入学时间 解释：李明是个大学生，1972年出生，江苏人，1990年考入计算机系 数据库（举例） 一个简单的销售系统 商品（商品号，商品名称，规格，生产日期，……..) 客户（客户编号，客户名称，客户地址，电话，…….) 订单（订单号，日期，商品号，客户编号，数量，单价，…….) 4 管理的层次和信息需求 管理分为战略层, 管理层(战术层)和作业层 战略层需要的多是外部信息和概括信息,是上层管理部门进行决策所需的信息 作业层需要的多是内部信息和详细信息,与日常活动有关. 管理层的信息需求介于两者之间,管理控制信息. 传统数据库的不足 缺乏集成性 业务数据库的条块与部门分割造成的信息孤岛 业务数据库缺乏统一的定义和规划 主题不明确 分析处理效率低 5 第一，所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心信息查询的方便与快捷；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全； 第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设； 第三，业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。 获得有用的信息并非想象的那么容易 6 操作型数据 分析型数据的区别 7 数据仓库的定义 数据仓库是面向主题的、综合的、不同时间的、稳定的时间集合，主要用于支持经营管理中的决策制定过程 数据仓库的四个基本特征 数据仓库的数据是面向主题的 数据仓库的数据是集成的 数据仓库的数据是不可更新的 数据仓库的数据是随时间不断变化的 8 面向主题 一个主题领域的表来源于多个操作型应用（如：客户主题，来源于：定单处理；应收帐目；应付帐目…） 典型的主题领域：客户；产品；交易；帐目 主题领域以一组相关的表来具体实现 相关的表通过公共的键码联系起来（如：顾客标识号Customer ID） 每个键码都有时间元素（从日期到日期；每月累积；单独日期…） 主题内数据可以存储在不同介质上（综合级，细节级，多粒度） 集成的 构造数据仓库是将多个异种数据源集成在一起,确保命名约定,编码结构,属性度量等一致性 稳定的（不可更新的） 批处理增加，仓库已经存在的数据不会改变 时变性 数据存储从历史的角度提供信息.数据仓库的关键结构,隐式或显式地包含时间元素. 9 数据仓库本质 数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”。 如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。 数据仓库所要研究和解决的问题就是从数据库中获取信息。 数据仓库的内容 数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。 10 数据仓库 VS 数据库 数据库系统（生产系统）： 面向应用、事务驱动的 实时性高 数据检索量少 只存当前数据 数据仓库系统（决策系统）： 面向主题、分析和决策 实时性要求不是特别高 数据检索量大 存储大量的历史数据和当前数据 客户 产品 渠道 交易 机构 11 数据仓库系统体系结构 12 数据仓库的基本概念 外部数据源 数据抽取 抽取存储区 数据清洗 数据转换 元数据 数据集市 13 数据源 数据源是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。 数据的抽取 数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过