基于大数据的智慧金融解决方案课件.pptVIP

大数据分析平台一期硬件配置（续） ? 光前交换机配置要求 ? ? ? 千兆端口： 278 万兆端口： 100 带宽： 8GB 总存储容量： 40TB 磁盘： 15000 RPM SAS Disks 网络接口：万兆 ? NAS 集群配置如下： ? ? ? ? ? ? 网络传输协议： TCP/IP 网络文件协议： CIFS 、 NFS 单台 Cache ： 8GB ? ZQY . All rights reserved. ZQY 大数据分析平台一期软件清单 类型 基础计算平台 历史归档查询平台 软件清单 Hadoop 0.2 类型 管理分析平台 数据 集市服务器 实时分析平台 内存 数据库服务器 ？ Centos 6.3 软件清单 Centos 6.3 Hadoop 0.2 Centos 6.3 SAP Hana Enterprise 1.0 沙盘演练平台 数据交换平台 Hadoop 0.2 Centos 6.3 Hadoop ClientHive Centos 6.3 Centos 6.3 MicroStrategy 9.3 管理分析 实时分析 Hana Client 平台 BI 应用服务器 DB Client Centos 6.3 TaskAutomation MySQL Client 流程调度 ETL 平台 管理分析 实时分析 Tomcat 7.0 平台 WEB 服务器 Centos 6.3 Perl Runtime MySQL DBD Centos 6.3 ZQY ? ZQY . All rights reserved. 议程 1 2 3 4 5 ZQY ? ZQY . All rights reserved. 数据质量管理平台技术架构 ? ? 数据质量管 理平台以元 信息模型为 核心，由规 则配置管理 模块、检查 执行模块、 分析报告生 成模块和分 析报告展现 模块四部分 构成。 整个数据质 量检查过程 以 ETL 任务 的形式统一 调度执行。 数据质量管理系统元模型包含检查规则、 检查执行结果、分析报告，模型作为一个 独立的 Schema 部署在决策分析报表平台的 数据库 数据质量检查规则配置模块作为 Java Web 应用部署在金融数据平台 Tomcat 集群上，数据质量管理员通过统一的 Web 服务访问，实现检查规则的维护 数据质量检查规则执行模块作为多个 ETL 任 务部署在金融数据平台 ETL 服务器上，由 Automation 工作流调度服务统一调度运行， 实现各个数据区技术和业务数据质量检查 数据质量分析报告展现模块作为 Java Web 应用部署在金融数据平台 Tomcat 集群上，用户通过统一的 Web 服务访问， 实现日报、月报的浏览、下载等功能 数据质量分析报告生成模块作为一个 ETL 任 务部署在决策分析报表平台 ETL 服务器上， 由 Automation 工作流调度服务统一调度运 行，按照每日、每月生成各数据区数据质 量检查报告 ZQY ? ZQY . All rights reserved. 数据质量检查执行服务 ? ? ? ? 数据质量管理 的规则执行服 务作为 ETL 任 务部署在 ETL 服务器上 在整个数据处 理过程中，设 置 4 类检查点 在不同的检查 点由 Task Automation 工 作流统一调度 执行 检查结果统一 存入数据质量 管理资料库 1 2 3 4 ZQY ? ZQY . All rights reserved. 检查规则执行服务检查点 1 云数据推送平台接口文件级规范性检查任务说明 任务类型 ETL 阶段 执行频率 执行方式 检查对象 检查内容 实现技术 成功阈值 依赖任务 触发任务 ETL 任务 —— 技术型检查 云数据推送平台 - 金融数据交换平台 NAS 存储指定目录 每日执行 由 Task Automation 工作流引擎根据工作流定义统一调度，在 ETL 服务器上执行 云数据推送平台按照接口规范导出的业务系统每日增量数据文件和控制文件 接口文件是否存在，接口文件名称是否正确，接口文件是否通过 MD5 校验 Linux 脚本语言， Perl 或 Python