《数据仓库与数据挖掘》课件PPT 1 数据仓库与数据挖掘概述.pptVIP

数据仓库与数据挖掘 第 1 章 数据仓库与数据挖掘概述 第1章 1.1 数据仓库概述 1.2 数据挖掘概述 1.3 数据仓库和数据挖掘的结合 1.1 数据仓库概述 1.1.1 从数据库到数据仓库 1.1.2 从OLTP到OLAP 1.1.3 数据字典与元数据 1.1.4 数据仓库的定义与特点 1.数据库用于事务处理 数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。 数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。 不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。 2.数据仓库用于决策分析 数据库用于事务处理，数据仓库用于决策分析 数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据 数据仓库的数据是大量数据库的集成 对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大 3.数据库与数据仓库对比 1.1.2从OLTP到OLAP 1.联机事物处理（OLTP） 2.联机分析处理（OLAP） 3.OLTP与OLAP的对比 1.联机事物处理（OLTP） 联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP应用要求多个查询并行，以便将每个查询分布到一个处理器上。 OLTP的特点在于事务处理量大，但事务处理内容比较简单且重复率高。 OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定的。 OLTP面对的是事务处理操作人员和低层管理人员。 2.联机分析处理（OLAP） 决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。 E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。 OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 3.OLTP与OLAP的对比 1.1.3 数据字典与元数据 1. 数据库的数据字典 2.数据仓库的元数据 1. 数据库的数据字典 数据字典是数据库中各类数据描述的集合 。 (1) 数据项 (2) 数据结构 (3) 数据流 (4) 数据存储 (5) 处理过程 2.数据仓库的元数据 在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。 元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。 数据仓库的元数据除对数据仓库中数据的描述（数据仓库字典）外，还有以下三类元数据 ： (1) 关于数据源的元数据 (2) 关于抽取和转换的元数据 (3) 关于最终用户的元数据 1.2 数据挖掘概述 1.2.1 从机器学习到数据挖掘 1.2.2 数据挖掘含义 1.2.3 数据挖掘与OLAP的比较 1.2.4 数据挖掘与统计学 1.2.1 从机器学习到数据挖掘 学习是人类具有的智能行为，主要在于获取知识。 机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。 机器学习是人工智能领域中的重要研究方向。 20世纪60年代开始了机器学习的研究。 1.2.1 从机器学习到数据挖掘 (1) 1980年在美国召开了第一届国际机器学习研讨会； 明确了机器学习是人工智能的重要研究方向 (2) 1989年8月于美国底特律市召开的第一届知识发现（KDD）国 际学术会议； 首次提出知识发现概念 (3) 1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议； 首次提出数据挖掘概念 (4) 我国于1987年召开了第一届全国机器学习研讨会。 1.2.3 数据挖掘与OLAP的比较 1. OLAP的多维分析 OLAP的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。 2. 数据挖掘 数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。 1.2.4 数据挖掘与统计学 统计学与国家政治有紧密的关系。 支配着社会现象的法则和方法是概率论。 通过对全部对象（总体）进行调查，为制定计划和决策提供依据。 统计学中应用于数据挖掘的内容 （1）常用统计 （2）相关分析 （3）回归分析 （4）假设检验 （5