(0数据挖掘论文.docVIP

数据仓库及其应用技术 摘要 本文对于大量存在于计算机信息系统中的数据，通过数据仓库和数据挖掘技术对数据进行加工、分析、产生用于决策支持的信息，得以充分利用。数据仓库技术是计算机数据库系统发展的新方向，近几年来已经在许多领域得到了应用。,所以近年来数据仓库在证券业、银行领域、税务领域、控制金融风险、保险、客户管理等众多领域得到了越来越广泛的应用。据调查,财富500 强企业中已经有85 %的企业建成或正在建立数据仓库。 数据仓库与Internet 一样,正在成为最快的IT 增长点。1996 年,全球企业在数据仓库上的投资达到16. 8 亿美元,并且以每年19. 1 %的速度增长。那么什么是数据仓库? 数据仓库有哪些特征和技术? 下面做一些简单的介绍。 一、数据仓库概念及特征 1、数据仓库概念。 数据仓库就是面向主题的、集成的、不可更新的(稳定的) 、随时间不断变化的数据集合。与其他数据库应用不同的是,数据仓库更像一种过程,即对分布在企业内部各处的业务数据的整合、加工和分析的过程,而不是一种可以购买的产品。 2、数据仓库的特征: ①面向主题。数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。 ②集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上,经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。 ③相对稳定的。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。 ④反映历史变化。数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点到目前各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。 二、数据仓库的分析技术 1、OLAP 技术 1.1 OLAP (联机分析处理) 的概念。 OLAP是数据处理的一种技术概念。 OLAP的基本目的是使企业的决策者能灵活地操纵企业的数据,以多维的形式从多面角度来观察企业的状态、了解企业的变化,通过快速、一致、交互地访问各种可能的信息视图,帮助管理人员掌握数据中存在的规律,实现对数据的归纳、分析和处理,帮助组织完成相关的决策。 根据OLAP 产品的实际应用情况和用户对OLAP 产品的需求,人们提出了一种对OLAP 更简单明确的定义,即共享多维信息的快速分析。OLAP通过对多维信息以很多种可能的观察方式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入的观察。基于操作型数据环境的OLTP(联机事务处理) ,其基本操作是通过经典的SQL 语句实现的。而OLAP 多维数据分析是指对多维数据采取切片、切块、钻取、旋转等各种分析操作,以求剖析数据,使最终用户能从多角度、多侧面地观察数据库中的数据,从而深入地了解包含在数据中的信息、内涵。数据仓库系统一般都支持OLAP 的这些基本操作,也可以认为是一种扩展了的SQL 操作。 1.2联机分析处理的主要特点是直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型，在这里，维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵活性。这也是联机分析处理在近年来被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的管理信息系统有着本质的区别。事实上，随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决策管理信息系统的解决方案。数据仓库系统的核心是联机分析处理，但数据仓库包括更为广泛的内容。概括来说，数据仓库系统是指具有综合企业数据的能力，能够对大量企业数据进行快速和准确分析，辅助做出更好的商业决策的系统。它本身包括三部分内容： ????? 数据层。实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中心信息数据库中。?????应用层。通过联机分析处理，甚至是数据挖掘等应用处理，实现对信息数据的分析。????? 表现层。通过前台分析工具，将查询报表、统计分析、多维联机分析和数据发掘的结论展现在用户面前。 从应用角度来说，数据仓库系统除了联机分析处理外，还可以采用传统的报表，或者采用数理统计和人工智能等数据挖掘手段，涵盖的范围更广；就应用范围而言，联机分析处理往往根据用户分析的主题进行应用分割，例如：销售分析、市场推广分析、客户利润率分