B1包、基于大数据的山东质监数据仓库与信息共享平台建设.docVIP

B1包、基于大数据的山东质监数据仓库与信息共享平台建设项目中间件 一、供应商资格要求 1、符合《中华人民共和国政府采购法》第二十二条的规定。 2、供应商的资质要求：无 二、技术要求 项目背景及说明 1. 总体功能架构 山东质监大数据共享平台项目已于去年11月份完成了设计和开发的招标，目前项目的概要设计已经完成并通过评审，正在详细设计和开发阶段，本次采购的中间件产品是为该项目服务的，中标人须保证该产品满足招标参数及项目设计要求，并派人全程配合项目的设计和开发工作,所投产品应为成熟产品。 基于大数据的山东质监数据仓库与信息共享平台项目主要建设内容为数据仓库和信息共享，采用大数据处理的思想，通过数据采集工具将数据加载、清洗、转换汇集到数据仓库中，通过特定的数据处理手段对抽取的数据进行快速的分析、整理，并组织成相应的模型存储，在整个的处理过程中对数据质量进行监控，做到数据准确、可靠，通过数据标签技术对数据及时存档并加注版本予以区别。在前台通过特定的门户工具将各分析、挖掘的结果进行集成，并对质监内部、社会公众、其他委办局进行共享。具体功能框架如下： 图 总体功能框架 后台两个部分的清洗、 数据获取：通过数据采集（ETL）工具从已建设的14个业务系统、存量的数据、外部共享的政务信息中抽取数据，经过清洗、转换和加载后将数据导入到数据仓库。 数据仓库：数据仓库包括四部分，分别是业务数据层、中心数据仓库、数据归档区、数据集市。 业务数据层：相当于源数据的全量集合，用于数据处理的缓存。 数据归档管理：通过ETL工具将数据加载到归档管理区进行归档。 数据质量：通过数据质量功能的规则对数据的质量进行控制避免错误数据，提高数据准确性和利用率。 中心数据仓库：数据仓库的核心存储和处理区。 数据展现：主要包括BI工具和门户平台。 BI工具：通过BI展现工具对组织好的数据进行挖掘和展现，内置的数据算法以满足不同的统计、分析、挖掘的业务需要。 门户平台：通过门户平台集中对数据的使用进行展现，并可以对组织机构、用户等进行管理，统一用户、统一权限。 2. 总体产品架构 依据山东质监信息化建设现状和未来发展的需要，在“基于大数据的山东质监数据仓库与信息共享平台”项目中，结合多种数据源、多类型的数据情况，需要使用数据采集工具将数据集成到数据仓库中，通过数据共享工具将数据信息推送到山东质监数据门户、社会公众或其他委办局。在门户的应用中山东质监相关人员使用数据分析工具进行数据分析，使用数据流程工具对相应的流程进行流转控制和未来业务流程的优化、使用全文检索工具来满足快速查询、定位的需求。本次采用的产品架构如下图： 图 总体产品架构 1）数据采集工具：将结构化、非结构化等异构数据从不同的数据源中进行采集，通过图形化配置 2）数据仓库工具：主要用于海量数据的存储 3）数据共享工具：系统间数据共享、数据交换的工具，并能方便地将数据进行封装、共享。4）数据分析工具：包括元数据管理、数据质量管理、主数据管理、即席查询、智能报表、多维分析功能。5）流程工具：支持复杂的流程设计，可以通过此工具优化山东质监目前的业务流程。6）门户工具：支持统一用户、统一权限的功能，可以方便的将各应用进行集成。7）全文检索工具：支持从结构化、非结构化数据中进行全文检索。 3、本项目所采购中间件产品包含以下模块： （1）ETL工具： 1．1．业务需求 1）．数据信息来源 本系统数据信息来源共分为四类： 第一类是已经建设的业务系统，包括：标准化管理信息系统、组织机构代码系统、商品条码信息系统、标准文献系统、12365质监热线系统、缺陷产品召回系统、特种设备监察管理系统、特种设备检验管理系统、行政许可系统、产品质量监督检查管理系统、检验检测公共服务平台、人力资源管信息理系统、办公自动化系统、内外网网站共14个系统。 第二类是未进入信息化业务系统的游离数据，比如个人或部门常用的excel、word、文本等数据。 第三类是共享的政务信息，比如国家质检总局的政务信息、来自省经信委共享平台的信息、来自其他政府部门的信息（已与10个省内政府部门签署信息共享协议）、来自第三方机构的信息。 第四类是互联网舆情信息，包括通过网络舆情监测采集的网络（比如重大论坛、新闻网站）、电视、报纸 2）．数据抽取工作流程 通过对四类数据源进行分析整理，按照源数据特点，通过数据抽取工具，将源数据抽取到数据中心，其工作流程分为抽取、转换、加载，如下图所示： 1.2．功能要求 由于本系统的数据来源复杂，数据量大，因此业务系统在使用数据之前必须对源数据进行处理，目的是将数据源中的分散、零乱、标准不统一、多种结构的数据整合到一起，为决策提供分析依据。 本系统使用ETL工具对数据进行采集，ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。 1）