电子政务数据仓库系统.docVIP

西安协同集成中间件 宝鸡市电子政务数据仓库 目 录 1 概述 1 1.1 背景 1 1.2 目标 1 1.2.1 建立政务系统数据中心 1 1.2.2 建立综合查询分析中心 2 1.2.3 建立领导决策支持中心 2 1.3 系统总体架构 2 1.4 系统应用层次 3 2 系统要求概要 4 2.1 规范各职能机构系统数据编码和数据口径 4 2.2 异构数据源的支持 4 2.3 提供对数据集进行OLAP分析 5 2.4 规范系统使用权限，灵活定制报表 5 2.5 系统安全性 5 3 系统功能设计概要 5 3.1 主要功能模块架构 5 4 关键技术实现 6 4.1 数据抽取、转换、加载（ETL） 6 4.2 数据仓库维度建模 8 4.3 OLAP引擎 9 5 结束语 13 概述 背景 伴随着政治经济一体化的日益明显，为加快推进服务型政府的建设，各级政府职能部门的管理信息系统日趋完善，公安、社保等政务应用系统不断细化，业务处理量不断提高，数据存储量急剧增长，这些数据为政府的综合信息分析与决策支持提供了规模庞大的分布式数据资源。但是这些规模庞杂的数据都凌乱的分布在各个职能部门系统中，系统之间很难进行交互，信息无法得到共享。如何从这些分布的、海量的、速变的政务数据资源中提取有价值的信息，为各级政府决策者提供决策分析、绩效评价、政务监督等方面的决策支持具有重要的理论和现实意义，也符合“一个城市，一个电子政务数据中心”的指导思想。 然而当前各级政府的电子政务建设普遍存在了一些难题，一是缺少统一规划，各自为政、重复建设，对于公共服务建设需求缺乏统一的信息平台做为依托；二是政府部门的“条块分割”管理体制造成了诸多信息孤岛，数据割据造成了资源分散，部门间的数据沟通效率低下；三是由于各部门业务系统无法实现互联互通，难以实现区域型的跨部门业务协作，面向公众的互动和服务能力难以有效提升；四是政务应用系统体系整体集成程度比较低，已不能满足现代城市发展的实际需要，在基础软件环境、数据整合与交换、多渠道接入、跨区域跨部门的业务应用等方面都有待加强。 数据仓库是一个面向主题的、集成的、稳定的、随时间不变的数据集合，用以支持管理部门的决策制定过程以及实现各系统之间的数据共享、数据交换。数据仓库的特点决定了它是实现分布式数据整合的最佳解决方案。目前各级政府职能部门的应用所使用的数据库主要是为了实现联机事务处理（OLTP），它是为已知任务和负载进行设计的，在数据结构、内容和用法上与数据仓库有很大的不同，无法满足复杂的查询和数据挖掘需求；其次由于没有一个统一的数据视图，管理者无法站在一个系统的角度进行决策；另外由于没有集中的数据中心进行数据存储，各分布式业务系统数据无法流通，造成了跨区域、部门的业务应用无法实现。因此，构建电子政务数据仓库，以数据仓库为基础开发统一电子政务平台，是充分利用政府部门分布式资源，提升政务数据价值的有效手段。 系统目标 数据整合 统一数据模型，各业务系统数据在逻辑上实现统一，从而减少多业务系统关联查询时的复杂性。目的是达到，数据中心的数据是遵循统一的标准建立起来的。 统一数据标准，要建立标准的数据编码目录，业务系统数据依据标准的数据编码目录，经过ETL处理整合后进入数据中心，实现企业数据的标准化与一致性。 统一数据视图，经过数据中心整合后的数据，在此基础上建立分析模型，要使用户在各种视角获取到的信息是一致的。 数据共享 数据中心实现了多业务系统间的数据共享，提供了准实时性的数据访问功能。例如，数据中心可根据身份证号码向医疗、卫生等业务系统提供病人的详尽信息，而这些详尽信息是数据中心从公安人口系统中抽取来的。为什么称之为“准实时性数据”，是因为业务系统从数据中心获取数据时是实时性的，而数据中心获取业务数据时是需要根据ETL的频率决定的。 数据应用 数据中心整合了业务系统中细粒度的操作型数据，可以开发出很多应用。数据应用可以由数据中心系统整合好的数据提供，也可以结合业务系统的其他功能提供。 查询，数据中心提供了按需查询功能，用户可以根据关注的方面查询数据中心里整合好的业务全貌数据。例如，为参保人提供完整的参保类型、收支明细等完整信息。 报表，略 决策支持系统，以数据中心为基础，并结合政务系统数据分析的范围建立数据立方体（数据集成），实现按主题、维度的数据OLAP分析，为决策支持系统提供数据支持。 数据质量的管控 数据中心的物理模型建立之后，通过ETL过程收集源数据，然后装载到数据中心，在这个过程中以下数据质量管控工作。 数据质量的校验，根据规则并借助ETL工具对抽取到的源数据进行一致性、完整性、正确性分析，最终形成数据校验结果反馈给源系统进行修正。 数据质量管控，通过建立数据质量标准、数据质量流程，对数据质量进行统一管控，达到数据质量逐步