数据仓库，破茧成蝶.docxVIP

产业观察 产业观察 请务必阅读正文之后的免责条款部分 PAGE 请务必阅读正文之后的免责条款部分 PAGE 10 of 19 数据仓库—企业数据淘金工具 海量数据的分析是数据仓库的关键 数据仓库是在 20 世纪末随着商务数据分析和数据挖掘的需求而产生， 主要用于支持管理决策过程。它能够帮助企业建立公司业务数据模型； 整合公司数据源，让清洗和处理后的数据成为业务数据的唯一事实；支持进行细粒度的、多维的分析，并帮助高层管理者或者业务分析人员做出商业战略决策；为更高一层的数据服务、机器学习应用提供主要的历史数据来源。因此，数据仓库也被认为是商务智能（BI）的核心。数据仓库包含多个不同的来源，主要有社交媒体、移动数据、业务应用程序等。 图 1.数据仓库通过使用多个部署架构整理数据，实现多种功能 数据来源：国泰君安证券研究 当前，数据处理大致可以分成两大类： OLTP（联机事务处理），是传统的关系型数据库的主要应用，主要 用来记录和存储某类业务事件的发生，例如银行交易。OLTP 自 20 世纪后半叶信息技术革命后随即出现，代表性产品有 Oracle 的Database、IBM 的 DB2 等； OLAP（联机分析处理），最早是由关系数据库之父 E.F.Codd 于 1993 年提出，是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持。 OLTP（联机事务处理）OLAP（联机分析处理）主要应用数据库 OLTP（联机事务处理） OLAP（联机分析处理） 主要应用 数据库 数据仓库 用户 业务操作人员、底层管理 决策人员、高层管理 功能 日常业务处理，如订单、合同等 业务的支持、分析决策 DB 设计 面向应用 面向主题 工作负载 增、删、改 查询 数据 当前的应用的，必威体育精装版的数据 历史的、聚集的、多维的、统一的 用户数 数百个-数千万个 数个-数百个 DB 大小 GB 级-TB 级 TB 级-PB 级 时间要求 实时性 要求较低 数据来源：知乎、国泰君安证券研究 数据库和数据仓库均有关系型和非关系型之分，二者在数据存储结构、可扩展性、数据一致性上存在较为显著的差别；关系型数据库因固定的数据存储结构限制，一般较非关系型扩展成本更高。此外，非关系型更强调数据的最终一致性，如若需要使用中间态的数据，关系型则将更加方便。 图 2.数据库与数据仓库-关系型与非关系型的主要供应商 数据来源：爱分析、国泰君安证券研究 数据仓库市场供需双方均以大型企业为主。数仓产品的用户主要为需要大量数据来管理和分析、以全球五百强为代表的大型企业。在中国大陆， 数据仓库产品的主要用户为银行业、电信业、物流业、保险业、零售业 等相关企业，用以管理和分析企业经营数据和用户行为数据等来提高企业经营的管理效率。数据仓库使用时需要根据企业的数据资源和业务需求设计成套的数据仓库解决方案，并通过 Teradata、Oracle、IBM、GreenPlum、Snowflake 以及 Google、Amazon 等企业来提供从解决方案设计到软硬件支持的服务。 数据仓库起源于高度信息化的商业竞争 为了精确且高效地支持经营决策，随着 ERP、CRM、OA 等信息系统的 广泛应用及互联网的蓬勃发展，大多数企业并不缺少数据，而是受困于巨大的数据量以及数据的不一致性。正因于此，在如何把已有的海量数据转换成更有价值的商用信息，从而更好的帮助企业做出决策这一问题上，数据仓库被广泛认为是最好的解决方案之一。 建立数据仓库，能够将企业内部数据和外部数据进行有效的集成，从而为企业内部分析人员、决策管理人员所用。其中最重要的应用为 OLAP （联机分析处理）系统，根据分析需求将集中对应的数据清洗后存储在数据仓库中，然后由数据仓库统一提供 OLAP 分析。 图 3.数据仓库系统 数据来源：维基百科、百度百科、国泰君安证券研究 图 4. OLAP（联机分析处理系统）是数据仓库最重要的应用系统 数据来源：国泰君安证券研究 数据仓库是企业信息化管理的趋势。数据时代的到来促进数据仓库的发展和需求 ，其主要表现为企业生成的数据量不断增加，非结构化数据的 快速增加，以及通过对数据处理和分析来获取竞争优势的商业智能（BI） 的需求不断增加等因素。各业务部门产生的大量数据迫使企业采用数据仓库这一解决方案来实现高效、灵活和可扩展的存储，并通过使用高级数据挖掘和 BI 工具来分析处理这些数据，从而为用户提供更有价值的业务见解、更高效的运营效率、更精准的决策制定，以及也实现了提高客户保留率、增加收入来源等目的。 大数据技术和云服务的日益普及和成本降低促进了数据仓库乃至云上化数据仓库的需求。企业和政府机构已经逐渐意识到云数据仓库的经济利益，如按需计算，无限存储，集成的 BI 工具和成本更低的定价选项。 数据仓库即服务（DWaaS