DB2数据仓库性能经验.pptVIP

内容提要 总体技术架构 DB2中数据应用举例 内容提要 项目中数据仓库的主要性能要素 架构与分区 单事例 模式 数据分层 多节点分区 存储结构 数据空间 索引空间 日志空间 应用数据空间 合理的分区 数据库架构设计-初版 数据库架构设计-优化版 分区的使用及优化 数据仓库的空间管理 建表语句中分区与空间管理 CREATE TABLESPACE MID_DATA IN DATABASE PARTITION GROUP NODEGROUP11 PAGESIZE 32K MANAGED BY DATABASE USING (Device /dev/rmid1_data_lv1 491520 ) ON DBPARTITIONNUM (1) USING (Device /dev/rmid1_data_lv2 491520 ) ON DBPARTITIONNUM (2) USING (Device /dev/rmid1_data_lv3 491520 ) ON DBPARTITIONNUM (3) USING (Device /dev/rmid1_data_lv4 491520 ) ON DBPARTITIONNUM (4) EXTENTSIZE 64 PREFETCHSIZE 256 BUFFERPOOL IBMDEFAULTBP OVERHEAD 12.67 TRANSFERRATE 0.18 DROPPED TABLE RECOVERY OFF; 应用的优化-SQL 应用的优化-索引 数据类型的优化（OLAP） 大数据量的应用优化 大数据量分表 内容提要 基于DB2的数据仓库应用和展现 完毕，谢谢！ * * * * DB2数据仓库性能经验 2007年08月 电信行业数据仓库应用 系统概况 1 DB2数据库数据仓库性能经验谈 2 DB2的应用 3 数据仓库的性能要素 数据库架构设计 分区的使用及优化 数据仓库的空间管理 应用设计 优化 IBM DS4800 (56x73GB磁盘, 4GB Cache) 划分为9组RAID5，共90个LUN，每个LUN 34G 配置 磁盘阵列 主机名：p550： 运行软件：OLAP、DB2 node0、Datastage IBM p5-550(2路1.5GHz POWER5处理器, 4GB内存) 配置 服务器A 　 主机名：p570_dwe； 运行软件：DB2(node1、2、3、4) 、Hyperion IBM p5-570(4路1.5GHz POWER5处理器, 16GB内存) 配置 数据仓库服务器 　 IBM Datastage 7.0 IBM WebSphere Application 6.0 IBM DB2 8.2 软件及版本 软件 ETL工具 web服务器 数据仓库 软硬件配置 系统概况 1 DB2数据库数据仓库性能经验谈 2 DB2的应用 3 数据仓库的性能要素 数据库架构设计 分区的使用及优化 数据仓库的空间管理 应用设计优化 应用设计 表的分区键 表的索引 SQL优化 数据类型的优化 物理分表 使用别名跨库访问速度慢 ( Db2 7.2 )并行load 导致锁表空间 大数据量时日志空间报错 资源分散利用率低，IO差 DSS数据仓库 表空间调整后并行load，提高IO、CPU等资源利用率 模式实现虚拟的数据应用层 系统性能的提高 CPU/ IO 优化后 帐单表 数据 2′32″ 设备表 数据 1′6″ 优化前 帐单表 数据 10′2″ 设备表 数据 4′31 ″ 1.数据、索引、日志分开减少应用IO冲突 2.数据库使用的日志表空间=ETL最大事务日志空间 3.采用合理的分区键，使数据分布均匀 Cust.customer_detail 中有cust_id和cert_no 最初采用cert_no做分区键 INSERT遇到的问题？ IO 性能 提高 合理 日志 空间 考虑到空间利用率，最后改变分区键，旧分区键建立索引 select count(cert_no) , dbpartitionnum(cert_no) from Cust.customer_detail_200708 group by dbpartitionnum(cert_no) cert_no有部分默认值 Cust_id是唯一标识 独立的 数据空间 CREATE TABLE M