海航BI系统案例架构及硬件部署.docVIP

江苏联华BI项目 背景介绍 联华是一家老牌的零售企业，拥有多种多样的业态，在中国整个零售市场中有着举足轻重的地位。在2004年，联华上海地区实施了BI分析系统，全面对海量数据进行整理分类，进一步为企业在库存管理、供应商管理、销售管理、单品管理等核心业务方面提供强有力的支持、分析。 江苏位于长三角地区，也是目前中国零售业竞争的最前沿地区。为了进一步提升江苏联华的竞争力，将上海标超成功的信息分析系统推广，故有必要将上海地区的BI系统做适当调整后提供给江苏联华使用，让纷乱的数据以一种全新的姿态展现在相关人员面前，为决策提供强力支持。 系统架构 在江苏联华BI项目中由于要分析处理的原始数据存储在各门店文件服务器中，以多个.DBF文件存在，因此首先得通过ETL（SQL 2005 Integration Service）传输、转换、装载到Data Warehouse（SQL 2005 Relational Database），然后处理成多维Cube（SQL 2005 Analysis Service），最后通过定制报表（SQL 2005 Reporting Service）来展现各类统计分析（同比、环比等）与详单查询数据。系统的逻辑架构图如下： 为确保系统的扩展与冗余，系统采用了OLAP服务器双机热备配置，1台数据库服务器存储从门店传输、转换过来的销售、库存数据，以及对销售、库存数据处理后而形成的多维Cube数据；另1台OLAP服务器作为建Cube多维分析并提供报表平台使用，同时存在另一台OLAP服务器作为OLAP服务器热备使用， 2台服务器采用Windows Server 2003企业版内置的网络负载均衡服务（Network Load Balance Service）实现双机热备；用户可以随便访问其中的一台服务器来获取其所需的统计、分析报表。为确保系统服务器端对用户的透明性。从节约硬件配置成本考虑，主数据库服务器和OLAP服务器采用高低配置：主服务器采用64位平台，而OLAP服务器及热备服务器采用32位平台。 系统需负载的联华江苏地区原始数据量约为250GB（以此估算DW数据+多维Cube数据+临时数据，将需数据存储空间约为700GB），并发用户数为数十人。 通过运行定制好的SQL Server Integration Service数据传输包，将门店.DBF文件中的数据传输到64位主服务器的数据仓库中；然后OLAP服务器上的SQL Server 2005分析服务生成适合于汇总分析的多维Cube数据库，而后通过SQL Server内置的Replication Service复制功能以及RoboCopy或RichCopy复制工具，则可将OLAP中的数据以及多维Cube数据复制到热备服务器上，此时OLAP主、热备服务器即可同时对用户提供服务，借助于Windows Server2003企业版中内置的网络负载均衡服务，实现双机热备与负载均衡功能。用户访问这套系统不仅能快速获取到各类同、环比统计分析报表，而且还可以钻取到详单数据信息。 海航BI硬件架构和配置 海航BI系统的硬件架构建议 建议在海航BI项目中部署４台服务器，其中，ETL服务器主要任务是将各源数据通过SQL Server 2005 Integration Service抓取过来进行清洗转换，并装载到主数据仓库服务器中；主数据仓库服务器采用64位操作系统，这样可以大大提高数据库性能，而且主数据库服务器为了能够承担更大的负载，该服务器配置也会比其他服务器要求高。另外还会有一台OLAP服务器，主要作用是建立Cube多维分析的数据，同时通过SQL Server 2005 Reporting Service对Cube多维分析数据计算结果，以及随时提交的报表需求进行报表处理，并展现给终端用户。由于OLAP是数据仓库的展现窗口，也是业务人员使用的主要服务器，所以建议有一台服务器作为OLAP的热备服务器，一方面，该服务器可以备份OLAP的各种数据，另一方面，也可以为OLAP提供并发用户的负载均衡。同时，也可以为主数据仓库提供备份服务。 海航BI系统的软、硬件配置清单 基于上述的系统架构与软、硬件系统平台配置，可得到如下软硬件配置清单： 服务器 硬件配置 系统软件配置 备注 主数据仓库服务器 64位硬件平台 4 CPU 8 GB 内存 10 * 73GB硬盘 2块1000MB网卡 Windows Server 2003企业版（64位） SQL Server 2005企业版（64位） ETL服务器 32位硬件平台 4 CPU 4 GB内存 10 * 73GB硬盘 1块1000MB网卡 Windows Server 2003企业版（32位） SQL Server 2005企业版（32位） SQL