数据挖掘细复习资料.docVIP

《数据仓库和数据挖掘》复习大纲 一、共三道大题：填空题（每空1分，共20分），简答题（8道小题，每题5分，共40分），计算、分析与证明题（四道题，共40分） 二、复习范围： 填空题与简答题： 数据挖掘（Data Mining）：从海量数据中提取有兴趣的模式（Pattern）或知识（knowledge） 。 数据仓库是面向主题的、集成的、时变的、非易失的数据集合，它用来支持管理部门的决策过程。 名词解释 OLTP:On-Line Transaction Processing 联机事务处理。其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。对响应时间要求比较高。 传统关系数据库的主要任务 日常操作 : 购买, 存货, 财务等. OLAP:On-Line Analytical Processing 联机分析处理。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 数据仓库的主要任务 数据分析与决策支持 KDD：Knowledge Discovery in Data 数据中的知识发现。 定义：从数据集中别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。知识发现将信息变为知识。 BI：Business Intelligence 商业智能。 BI是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。数据挖掘是BI的核心。 ETL:Extraction-Transformation-Loading 数据提取、转换和加载。 ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 2. 1数据仓库的特征： 数据仓库是面向主题的 是汇总的 是集成的 非易失的(是不可更新的) 时变的(是随时间变化而变化的) 大容量 非规范化 元数据 数据源 2.2数据仓库的特点有： 效率足够高 （2）数据质量 （3）扩展性 （4）面向主题 2.3数据仓库的模型： （1）企业仓库（Enterprise warehouse）：搜集了关于主题的所有信息，跨越整个组织。 （2）数据集市（Data Mart）：包含企业范围数据的一个子集，对于特定的用户是有用的，其范围限于选定的主题。 （3）虚拟仓库（Virtual warehouse）：操作数据库上视图的一组集合。 为了有效处理查询，只有一些可能的汇总视图被物化。虚拟仓库易于建立，但是需要操作数据库服务器具有剩余能力。 常用多维数据结构建模（数据立方体）。 数据立方体的每个维对应于模式中的一个或一组属性，每个单元存放某种聚集度量值。数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据。 2.4数据仓库的多层结构： 通常，数据仓库采用三层结构： （1）底层是数据仓库服务器，它几乎总是一个关系数据库系统。“如何由该层提取数据，创建数据仓库？”使用称作网间连接程序的应用程序，由操作数据库和外部数据源（如，由外部咨询者提供的顾客侧面信息）提取数据。网间连接程序由下面的DBMS 支持，允许客户程序产生SQL 代码，在服务器上执行。网间连接程序的例子包括ODBC（开放数据库连接）和微软的OLE-DB（数据库开放链接和嵌入），JDBC（Java 数据库连接）。 （2）中间层是OLAP 服务器，其典型的实现或者是（1）关系OLAP（ROLAP）模型，即扩充的关系DBMS，它将多维数据上的操作映射为标准的关系操作；或者是（2）多维OLAP（MOLAP）模型，即特殊的服务器，它直接实现多维数据和操作。 （3）顶层是客户，它包括查询和报告工具、分析工具、和/或数据挖掘工具（例如，趋势分析、预测等）。 数据仓库的视图 （1）自顶向下视图：可以选择数据仓库所需要的相关信息。这些信息能够满足当前和未来商务的需求。 （2）数据源视图：解释操作数据库系统收集、存储和管理的信息。这些信息可能以不同的详细程度和精度建档，存放在由个别数据源表到集成的数据源表中。通常，数据源用传统的数据建模技术，如ER模型或者CASE工具建模。 （3）数据仓库视图：包括事实表和维表。提供存放在数据仓库内部的信息。包括预计算的总和与计数，以及提供历史别进的关于源、原始日期和时间等信息。 （4）商务视图：是从最终用户的角度透视数据仓库中的数据。 数据立方体的有效计算： 部分物化：部分方体物化，只预计算更“有用”的部分方体 完全物化：表示数据立方体的所有方体都