2016年电子商务精品教案：电子商务的实现技术基础10.docVIP

4.5.2 数据仓库、联机分析处理与数据挖掘 广义概念上的数据仓库是一种帮助企业做决策的体系化解决方案，它包括了三个方面的内容： ? 数据仓库技术（Data Warehouse，DW） ? 联机分析处理技术（On-line Analytical Processing，OLAP） ? 数据挖掘技术（Data Mining，DM） 数据仓库、联机分析处理和数据挖掘作为信息处理技术是独立出现的。数据仓库用于数据的存储和组织；联机分析处理则侧重于数据的分析；数据挖掘则致力于知识的自动发现。因此这三种技术之间并没有内在的依赖关系，可以独立地应用到企业信息系统的建设之中，以提高信息系统相应的能力。但是，这三种技术之间确实存在着一定的联系性和互补性，把它们结合起来，就可以使它们的能力更充分地发挥出来。这样就形成了一种决策支持系统的架构，即DW+OLAP+DM。 1、数据仓库技术 ⑴ 概述 数据仓库是一种只读的、用于分析的数据库，常常作为决策支持系统的底层。它从大量的事务性数据库中抽取数据、并将其清理、转换为新的存储格式，即为了决策目标而把数据聚合在一种特殊的格式中。数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合。其中，“主题”是指用户使用数据仓库辅助决策时所关心的重点问题，每一个主题对应一个客观分析领域，如销售、成本、利润的情况等。“面向主题”就是指数据仓库中的信息是按主题组织的，按主题来提供信息。“集成的”是指数据仓库中的数据不是业务处理系统数据的简单拼凑与汇总，而是经过系统的加工整理，是相互一致的、具有代表性的数据。“随时间变化”是指数据仓库中存储的是一个时间段的数据，而不仅仅是某一个时间的数据，所以主要用于进行时间趋势分析。一般数据仓库内的数据时限为5到10年，数据量也比较大。“信息本身相对稳定”是指数据一旦进入数据仓库，一般情况下将被长期保留，变更很少。 ⑵ 数据仓库组织和管理数据的方法与普通数据库的不同点 主要表现在三个方面： ① 它依据决策要求，只从数据库中抽取那些需要的数据，并进行一定的处理。 ② 数据仓库是多维的，即数据仓库中数据的组织方式有多层的行和列。 ③ 它支持决策处理，不同于普通的事务处理。 ⑶ 数据仓库需要的数据库技术的支持： ① 并行数据库技术：数据仓库中的数据量很大，一般要达到GB级，有的甚至要到TB级。对于处理如此大规模的数据，使用并行技术对提高运行效率是很有帮助的。 ② 高性能的数据库服务器：传统数据库的应用是操作型的，而数据仓库的应用是分析性的，它需要有高性能的数据库服务器配合工作，对DBMS核心的性能也有更高的要求。 ③ 数据库互操作技术：数据仓库的数据来源多种多样，可能来自数据库，也可能来自文件系统。即使都来自数据库，这些数据库也往往是异构的。为了从这些异构数据源中定期抽取、转换和集成所需要的数据存入库中，异构数据源之间的互操作技术是必需的。 2、联机分析处理技术 联机分析处理是针对特定问题的联机数据访问和分析，通过对信息进行快速、稳定、一致和交互式的存取，对数据进行多层次、多阶段的分析处理，以获得高度归纳的分析结果。联机分析处理是一种自上而下、不断深入的分析工具，在用户提出问题或假设之后，它负责提取出关于此问题的详细信息，并以一种比较直观的方式呈现给用户。联机分析处理技术的发展速度很快，在数据仓库的概念提出不久，联机分析处理的理论及相应工具就被相继推出了。 联机分析处理要求按多维方式组织企业的数据。多维数据库的发展使决策分析中的数据结构和分析方法相分离，才有可能研制出通用而灵活的分析工具，并使分析工具产品化。决策分析需要从不同的角度观察分析数据，以多维数据为核心的多维数据分析是决策的主要内容。多维数据库是以多维方式组织数据的。目前，联机分析处理的工具可分为两类：一类是基于多维数据库的，另一类是基于关系数据库的。两者的相同点是基本数据源仍是数据库和数据仓库，都是基于关系数据模型的，都向用户显示多维数据视图；不同点在于，前者把分析所需的数据从数据仓库中抽取出来，物理地组织成多维数据库，而后者则是利用关系表来模拟多维数据，并不是物理地生成多维数据库。 3、数据挖掘技术 数据挖掘的基本思想是从数据中抽取有价值的信息，其目的是帮助决策者寻找数据间潜在的关联，发现被忽略的要素，而这些对预测趋势和决策行为也许是十分有用的。 从数据库的角度看，数据挖掘就是这样一个过程，它从数据库的数据中识别出有效的、新颖的、具有潜在效用的并最终可理解的信息（如规则、约束等）的非平凡过程。非平凡是一个数学概念，即数据挖掘既不是把数据全部抽取，也不是一点儿也不抽取，而是抽取出隐含的、未知的和可能有用的信息。 从决策支持的角度看，数据挖掘是一种决策支持的过程，主要基于人工智能、机器学习、统