SAP企业数据仓库方案建议书.docx

SAP企业数据仓库方案建议书企业建立数据仓库的背景烟草行业目前所面临的问题：烟草生产与销售是个特殊的行业，由于我国实行的是烟草专卖制度，整个管理体制自上而下设置，从国家烟草专卖局到省局、再到地市局、再到县局，最后到农村一级的销售网点，烟草销售体现的是“垂直管理、专营专卖”特点。 多年的计划经济和专卖体制，以及信息化程度不高的管理手段，使得烟草的生产和销售面临着如下问题： 卷烟销售信息反馈慢、信息失真现象严重。 超产时有发生，限产压库难度大，造成商业环节卷烟库存增加，销售难度加大，企业在市场竞争中难以实现优胜劣汰和资源的优化配置。 烟草专卖局对烟草销售的调控能力需要加强，同时需要更准确地把握市场变化的规律。 而中国加入WTO后，烟草市场的开放进入日程。国外卷烟的进入会加剧竞争局面。因此，更新观念，采用行政与市场相结合的管理模式和相应的信息化技术手段，是烟草公司发展的必由之路。 虽然目前大多数烟草企业信息化建设已打下了一定的基础，但当前的信息系统只限于对数据的简单报表与统计分析，而真正涉及到预测、决策及优化方面的工作还比较少，结果是只能代替一部分繁重的手工劳动，并没有充分发挥信息系统的效益。科学的经济活动分析依赖于强有力的数据分析能力，而当前的实际情况是：多数烟草企业的数据分析能力远远不适应企业经济活动分析和经营决策的需要，大量宝贵的数据资源没有得到充分的开发和利用，“数据丰富、信息贫乏”的现象十分普遍，由此严重制约了企业经济活动分析效果和企业决策。迅速提高数据分析能力，为经营决策提供更有力的支持是众多企业管理者的呼声。为此有必要在原有的生产业务系统基础上，构建一个“烟草业数据仓库系统”，以及构筑在其上的商务智能，来管理和合理利用信息，使之成为战胜竞争对手的有力手段。数据仓库技术是综合了客户服务与业务处理的信息，采用分析挖掘技术，为企业管理人员制定策略、开发市场、分析市场、效益评估、公共关系与企业形象设计等管理行为，以及决策提供科学的依据。 数据仓库通过从企业内部的不同系统和外部数据源收集数据，经过抽取、整合和统计，形成一个中心的数据集，这样既保持了数据的一致性，又易于被用户访问。同时，这些数据按照业务概念来组织，例如按地区、品牌等进行分类，便于分析。 数据仓库有这样一些特点，例如：其中的数据是历史数据或统计数据；按照业务概念来组织；存储了大量的统计信息；数据易于分析；数据基本不作更改，仅用于查询；数据一般只存储一次，很少更改。此外，数据仓库还提供了联机分析（OLAP）功能，用户可以联机访问经过分析运算的多条数据。 数据仓库还克服了直接建立在业务系统数据库基础之上的决策支持系统的局限，例如：数据按照统一格式存放，用户可联机快速地查询复杂的数据；查询不会影响其它正在进行的交易；数据来自不同的系统，并按照分类存放。 简而言之，数据仓库是一个数据源，可以提供全面的企业信息。数据仓库也是信息仓库、数据集市的主要数据来源，是面向某类业务主题的。数据仓库可以帮助用户从繁杂的数据中获得有效的分析数据，并在此基础上做出正确的决策。引入数据仓库系统，可以使激烈竞争中的烟草企业进一步扩大利润，加大竞争实力，并在激烈的商业竞争中保持长久的竞争优势。 系统架构设计数据平台总体架构针对重庆烟草EDW系统的建设要求，我们建议将数据平台总体架构划分为四大层次结构：采集层，存储层以及分析/展现层。这种架构，是对传统标准企业级数据仓库架构的扩展，既能满足一个数据中心平台层面的所有需求，又具备充分的前瞻性，为未来重庆烟草提供实时、兼具广度和深度的大数据应用提供支撑。数据平台总体架构数据采集层设计数据抽取、转换、加载的任务将在此处完成。整个平台的数据整合能力将由SAP HANA Smart Data Integrator（即HANA SDI）或SAP Data Services来提供，通过开放的数据接口连接各种类型的底层数据源，并且在数据加载的同时进行第一轮的数据清洗任务，提高保证数据的规范性。HANA SDI与DS是一个开放的ETL平台，支撑所有业界标准的数据源，能够涵盖重庆中烟现有及未来可以预见的各种系统。HANA SDI也是一个可线性扩展的平台。基于通用的数据仓库平台，我们提供了两种数据抽取与更新的方式，即实时抽取与批量抽取。实时抽取：前端业务的变更需要实时应用到数据仓库，保证分析数据是最“新鲜”的。SAP SDI可以通过在每个数据源上部署agent实时抽取业务变化数据（如在Oracle上可以通过抽取分析数据库日志），而Data Services可以利用源库自身的变化数据捕获机制（如Oracle DB CDC）获取增量数据。批量抽取：对于非实时的数据，可以T+1的方式进行更新，即在闲时或定期地由ETL工具从源端抽取数据，并加载到HANA数据库中，