大数据分析平台技术要求 .pdfVIP

1.技术构架需求

采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作

简单、易于维护、互联互通、信息共享的软件。

技术构架的基本要求：

采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定

的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬

件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、部署、升

级移植，保证系统具有一定的可伸缩性和可扩展性。

实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。

采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。

2.功能指标需求

2.1基础平台

本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA

勺体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。

2.1.1元数据管理平台

根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计

数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应

的管理维护机制，梳理并加载各种元数据。

具体实施内容包括：

根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的历史变

化。

支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，支持对派

生元数据的管理，如派生指标、代码重新组合等，对元数据管理实行权限控制。

通过元数据，实现对各类业务数据的统一管理和利用，包括：基础数据管理：建

立各类业务数据与元数据的映射关系，实现统一的数据查询、处理、报表管

理。

ETL通过元数据获取ETL规则的描述信息，包括字段映射、数据转换、数据

转换、数据清洗、数据加载规则以及错误处理等。数据仓库：利用元数据实

现对数据仓库结构的描述，包括仓库模式、视图、维、层次结构维度描述、

多维查询的描述、立方体（CUBE）

的结构等。

元数据版本控制及追溯、操作日志管理。

2.1.2数据交换平台

结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从

一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整

个数据交换过程的配置、管理和监控功能。

具体要求包括：

支持多种数据格式的数据交换，如关系型数据库：MS-SQLServerMYSQLOracle、

DB2等；文件格式：DBFExcel、Txt、Cvs等。

支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据清洗、数

据加载规则以及错误处理等。

支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执行、人工

执行、结果反馈、异常监控。

支持增量抽取的处理方式，增量加载的处理方式；支持元数据的管理，能提供动

态的影响分析，能与前端报表系统结合，分析报表到业务系统的血缘分析关系；

具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义脚本和函

数等具备可重用性；支持断点续传及异常数据审核、回滚等交换机制。

提供数据交换日志审计功能

2.1.3应用支撑平台

作为系统的支撑平台，需要支持如下功能：

2.2

1.1

2.3