Greenplum中文介绍.pptVIP

Greenplum现有国内客户案例分析 巨人网络（征途游戏）:财务分析、游戏在线分析 阿里巴巴：B2B、B2C、点击、在线分析 上海航空:航线结算分析 东方航空:航线结算分析 民族证券:数据中心，证券投资分析 北京第二外语大学：图书分析 中信银行：信用卡分析 深发展银行：数据中心兼ODS 李宁公司：销售和库存分析 公安部：图像分析 国家海洋局：海洋数据采集与分析 上海安吉物流：收入市场分析、客户经理跟踪分析 中远集团：收入、发展、销售分析 现有运行平台 服务器平台：SUN X4600一台，4路dual-core CPU 共8core，32GB 存储平台：NetApp一台 网络平台：千兆网络 软件平台：RedHat linux + mysql 应用软件：基于Apache的PHP程序 现有运行现状 随着数据量的不断增长，应用在现有平台上的运行效率极度恶化。 实际运行采样，9月份月度数据处理时，该应用耗时42小时；经过两个月的数据累加，到11月份月度数据处理时，该应用耗时达到65小时。 测试运行平台 服务器平台：SUN X4500两台，每台含2路dual-core CPU 共4core，16GB；SUN X4200一台，2路dual-core CPU 共4core，8GB 存储平台：每台X4500中各48块500GB硬盘，共96 * 500GB 网络平台：每台X4500和X4200上各有4块千兆网卡 软件平台：Solaris 10 ＋ GreenPlum v3.1 Beta 应用软件：SQL语句 数据导入测试 A -rows B -rows C - 372844366 rows D -rows E - 2521897 rows 结论：超过6亿条历史数据导入，用时少于1.5小时，性能非常卓越。 全表扫描测试 DWA测试环境：针对表C（372844366 rows）进行全表扫描，历时少于1.5分钟。 客户投产环境：针对表C的一个子表（记录数约为C表的1/10） 进行全表扫描，历时超过20分钟。 结论：如果采用DWA替代现有环境，获得超过120倍的性能提升。 真实应用测试 DWA测试结果：完成应用的全过程仅耗时48分钟。 客户投产环境：客户11月份月度处理时，完成本项任务需要65小时。 结论：如果采用DWA替代现有环境，获得超过80倍的性能提升。 案例分享：安吉物流 Oracle Server environment: HP RP5405 2*2.1G CPU 4G momery 200G harddisk Price: 300,000 + Rmb GreenPlum Server environment: 2 PC server 2*2.8G Xeon CPU 8G Memory 6 Hard disks Price: 25,000 Rmb Testing query scenario 比较一：数据库客户端超过370万条记录的查询 比较二：通过BO报表工具查询2000万条销售结果报表 Oracle与Greenplum测试结果比较 案例分享：阿里巴巴 业务用例 通过分析用户的网络点击日志，进行产品关联分析，让客户可以快速的找到相近产品 Existing Solution Oracle Facts 6台华为-赛门铁克T3500服务搭建数据库阵列 每台T3500服务器可以自带24TB硬盘 每台服务器含有两个四核的CPU(8 Intel X5560) 每台机器含有32GB内存 每台机器配置6个千兆网口 Raid10 Solaris 10 网站日志 交易数据 详细数据 Greenplum 海量基础数据 大数据量查询 Oracle 加工数据 门户网站 高并发查询 。。。。。。 用户信息 Hardware Architecture 案例分享：上海航空 结算系统 源系统 Oracle GreenPlum 结算 ETL Staging ETL 结算 ODS Export 文本 Query (oracle native driver) BO前端 呼叫中心 航线分析 其他 ETL ETL ETL 原有数据仓库部分（包括EDW, DM, ODS。不含结算ODS ) Query (ODBC) Load Universe Universe Report Report 结算系统 呼叫中心 航线分析 结算系统 呼叫中心 其他 航线分析 结算系统 呼叫中心 BO报表响应速度 BO报表响应速度测试： 报表名 Oracle查询时长 Greenplum查询时长 GP提升倍数 备注 报表一： 查询09年1月份数据 无法响应查询 30秒 N 基于查询语句SQL1 报表一： 查