利用SQServer2005建立的增长到3TB的数据仓库.doc

概述 国家或地区：美国 行业：专业服务 客户资料 位于德克萨斯州Plano的 CROSSMARK 公司为消费者包装货物（CPG）行业的最大的几个公司服务。帮助CPG制造商以确保产品的储存，合适的展示和正确的定价。 商务情况 因为 CROSSMARK公司计划增长它的数据仓库补给，从而将数据增长到四十亿行，所以公司需要一个健壮的提取，转换和载入（ETL） 解决方案以及一个强大的报表环境。 解决方案 CROSSMARK使用运行在Microsoft Windows Server? 2003企业版中Microsoft? SQL Server? 2005来升级其数据仓库。该解决方案采用SQL Server 2005集成服务用于ETL和SQL Server 2005 报表服务。 优点 企业级别的ETL 更好的商务查看 快速简单的报表开发 利用SQL Server 2005 表分区以增强性能 “SQL Server 2005 给我们提供了我们需要的ETL效率和查询性能以拓展我们的历史数据……拓展我们的历史数据有助于为我们的用户提供新的洞察。” Michelle Tisdale, CROSSMARK公司综合数据服务部总监 CROSSMARK公司通过将大量POS机信息聚集到一个数据仓库来帮助消费者包装货物（CPG）行业 情况 从面包到牛奶，从香波到灯泡，数十亿美元的消费包装货物（CPG）行业是个巨大的市场竞技场，超级市场和其他零售商的制造商在这里为了消费者对自己的忠诚度大打出手。CROSSMARK公司，一个雇佣了遍布北美的一万六千员工的公司，致力于提供准确的消费包装货物（CPG）行业商务智能。这是一个专业的商务服务公司，是为消费包装货物（CPG）行业提供服务的最大服务商之一，帮助其帮助消费者包装货物制造商以确保产品的储存，合适的展示和正确的定价。 CROSSMARK公司在商店的零售专业人员一年要进行超过四百万次的插入新货物，更正脱销货物，填补销售空白，销售和建立展示，追踪竞争活动以及处理POS资料，所有的一切使得购物者成为买主。 除了在商店的小组，CROSSMARK公司运作了一个可以每月处理数以百万行新数据的数据仓库，从而帮助商店和制造商更精确的估量其绩效。CROSSMARK公司原始的数据仓库是基于Microsoft? SQL Server? 2000的，它是Microsoft Windows Server System?集成服务器软件的一部分。该数据库过去运行一直很好。但是在CROSSMARK公司订购了一个新的ACNielsen数据服务后，该服务使得两周时间的数据载入从百万行暴涨到数十亿行，因此，公司需要增强其提取，转换，载入的能力以减少载入和转换这些数据所需要的时间。 ACNielsen数据对CROSSMARK公司及其用户是有巨大价值的，因为组成该数据的POS数据精确的显示了在三万家商店里什么商品，在什么时候，什么地点被购买了。CROSSMARK公司正在面临一种挑战，如何从浩如烟海般的数据中提取价值。每个月CROSSMARK公司收到大约四十亿行数据，包括了13周的POS机数据。 输入数据量如此之大以至于CROSSMARK公司仅仅只能dump当前两周的POS数据然后再重载入新ACNielsen数据集。但是dump的数据仍然是有很大价值的，因为消除信息使得公司无法将市场的趋势做成图并从历史数据中提取其他价值。 数据是以flat file无格式文件的形式获得的，被存在SQL Server 2000关系型数据库中的没有任何维度的flat事实表里。SQL Server 2000数据转换服务（DTS）能处理这些载入，但是被证实是耗费时间的。因为每两个月数据转换服务包（DTS）不得不手动升级以处理来自ACNielsen的新增文件名。因为数据库的数据量解近1TB，所以CROSSMARK公司对SQL Server 2005很感兴趣，特别是SQL Server 2005集成服务，一个下一代的ETL工具。 公司过去使用BO来做报表，现在希望能有一个使用更简单的报表解决方案。 CROSSMARK公司考虑将其数据仓库升级到SQL Server 2005，其需要确保部署可以满足如下要求，包括： 提供企业级ETL性能以跟上比以前大十二倍的数据供给量 帮助CROSSMARK公司获得对其数据储存增长的洞察和更好的商业查看。 简化报表开发使得报表的建立可以被分散。 增强查询性能。 解决方案 与微软金牌合作伙伴日立顾问公司合作， CROSSMARK公司决定将其数据仓库升级到 SQL Server 2005。 “我们知道CROSSMARK公司会从SQL Server 2005获得直接的收益，”日立顾问公司高级经理Eric Winton说。“我们希望发挥