数据移植工作经验共享.pptVIP

数据移植工作经验共享 主要内容 重要性与要求 整个项目实施中重要的一环，最后割接成功、失败的主要标志之一 全面了解系统和业务的一个捷径 要求 细心，耐心 分清主次，先抓主要矛盾 主要内容 需要掌握的几个知识点 UNIX 基础命令 文件传输（FTP） 主机空间(查看，清理等) 了解如何查看主机资源（CPU、内存、IO） SHELL 数据库- ORACLE 实例 表空间 SQL语句：DML、DDL 锁 基本的语句调优 高级语言（包括但不限于） C语言 PROC 其他（包括但不限于） XML等 主要内容 工作内容 确定移植工作环境 主机 生产主机、移植主机分别都是什么型号的？ CPU、内存有多少？ 除了数据移植相关，还部署了哪些应用 数据库 数据库版本 需要几个库？ 每个库的用户、权限该如何定义？ 数据库的表空间如何分配？ 空间 需要移植的数据源的空间有多大？ 根据移植的复杂度预估一下中间转换需要多大空间 每个库空间如何分配？ 数据调研和梳理 了解数据源的数据模型和数据结构 了解我们的数据模型和数据结构 比较新旧版数据的字段大小、多少，数据模型差异等 跨库导出、导入 Exp/imp(推荐) 按库 按用户 按表 Copy命令 SQLPLUS的命令 命令行 COPY {FROM database TO database FROM database TO database} {APPEND|CREATE|INSERT|REPLACE} destination_table [(column, column, column, ...)] USING query 数据库链 最简单的方式 最容易引起混乱 数据转换-常用技术-SHELL SHELL(示意脚本) #yz.sh SQLPLUS USER/PASSWORD@SID! INSERT INTO DEST-TABLE(F1,F2,F3…) SELECT f11,f22,f33 FROM SOURCE_TABLE WHERE 条件 / commit / ! 数据转换-常用技术-C C(示意程序) #yz.c User=“user”; Password=“user”; Sid=“user”; EXEC SQL connect :User/:Password@:Sid; EXEC SQL INSERT INTO … SELECT … FROM …; Exit(1); 数据转换-常用技术-PLSQL PLSQL(示意程序) #yz.sql Declare cursor c1 is select … from … where …; rec_c1 as c1; Begin open c1; for rec_c1 in c1 loop end loop; close c1; End; / 数据转换-常用技术-SQL语句 SQL语句(示意语句) #yz1.sql Insert into dest_table Select … from … source_table where … 运行时： SQL@@yz1.sql 数据转换-常用技术-几个实用技巧 Insert all Spool 分析函数:row_number()等 数据核对 数量 按区域核对：总数、地市等 按状态核对：有效、无效，在网、离网等 按主要字段核对：类型、级别等 钱 按区域核对：总数、地市等 按状态核对：有效、无效，在网、离网等 按主要字段核对：类型、级别等 主要表的明细数据核对 查找不符合要求的数据 数据错误数据处理 错误数据处理流程 查找错误数据 形成错误数据处理建议文档，与局方和开发人员进行交流 敲定处理办法，修改数据移植脚本 查找错误数据 Group by Not in 语句报错 核对数据错误 错误数据处理方式（参考） 割接前局方自行处理，适用于数据量小，而且不再有错误新增的情况 移植脚本处理，适用于错误和处理方式有规律，一直有数据新增的情况 程序适当增加健壮性，可以处理部分数据错误，适用于错误原因不明，即使错误数据也要移植的情况 忽略错误，适用于时间较长且不重要的数据 主要内容 效率优化 主机优化(了解) CPU 内存 磁盘 数据库级优化(了解) 调整数据库参数，如 parallel_max_servers db_file_cache Show parameter 应用优化(掌握) EXP/IMP优化 尽量把导