数据迁移实例.docxVIP

前段时间完成一个大型数据库的迁移工作，情况比较复杂好在经过一些小插曲之后总算圆满完成任务。下面是我的一些经验总结希望各位多提意见。虽然在操作之前作过一些测试，但主要考虑脚本的正确与否以及对数据库对象的影响。并没有完全在实际系统上运行。这也成为后来出现的一个问题没有预计到的根源。毕竟比较早的版本我没有用过：）。那就是8.0.6的exp工具并支持到处数据到多个文件，file=file1,file2不能使用，而且也不清楚老的hp-unix是32位的时候支持大于2g的文件，而且8.0.6是否可以导出一个大于2G文件。后来出现问题之后经过查证系统支持，此避免使用磁带机或者文件压缩的方式（具体方法网络上有相关资料）。由于考虑到加快数据导入速度，我在数据导入的时候将数据库指定用户所有not unique index全部删除，注意因为新数据库中已经有一部分数据，为保证不导入重复数据不能够禁止PK，这样也就无法将unique index删除或者unusable。这里要提醒大家的是如果是PK的unique index设置为unusable之后将不能向其中插入数据，这样在imp 时使用skip_unusable参数也不起作用，不管数据重复与否都无法插入表。所以当表由数据的时候，要保证没有重复数据，并且可以插入新数据就不能将unique index设置为unusable。这里我采用的方法是删除所有not unique index，保留PK对应索引。这样既保证数据不重复，有提高速度。老系统运行环境：os hp-unixdb 8.0.6memory 2Gcpu 2个数据文件大小22G(包括数据、索引、临时),经过分析实际的数据量大概8.5G。其中表数据经过分析大小不到4G。后来导出数据的确是不到3G多，说明是前的分析还是比较准确。我使用分析脚本是：其它还有一些脚本也差不多，就是从几个关键字典表分析。SELECT a.NAME, b.tablespace_name,SUBSTR(Free: ||SUM(b.bytes)/1024/1024,1,30) File_SizeFROM dba_free_space b, v$DATABASE aGROUP BY b.tablespace_name, a.NAMEUNIONSELECT a.NAME, b.tablespace_name,SUBSTR(Total: ||SUM(b.bytes)/1024/1024,1,30)FROM dba_data_files b, v$DATABASE aGROUP BY b.tablespace_name, a.NAMEORDER BY 1,2,3SELECT TABLESPACE_NAME, SUM(BYTES)/(1024*1024) FREE_SPACEFROM DBA_FREE_SPACE GROUP BY TABLESPACE_NAME;SELECT TABLESPACE_NAME, BYTES, AUTOEXTENSIBLE,FILE_NAME FROM DBA_DATA_FILES;二、数据迁移目标将原来运行在8.0.6下的数据库迁移到8.1.7。应用系统在新数据库基础上运行正常，数据迁移尽快完成，数据不丢失。三、数据迁移条件1、导出需要的条件应用系统在数据导出之前切换到新的系统，这样原来数据库将不再有应用系统访问，保证数据导出期间的一致性。新的数据库在导出开始之前安装好，并建立应用系统所需要的数据库。2、导入需要的条件开始数据导入的时候，为加快数据导入过程需要应用暂时不访问新的数据库,为加快数据导入修改数据库运行参数和索引处理。数据导入完成并恢复相关索引系统可以进入正常运行状态。四、数据迁移策略因为系统实际数据不是很大，数据结构相对独立。采用exp/imp方式对数据进行逻辑备份和恢复。在新的服务器上应用系统所需要的物理和逻辑数据结构都已经在数据迁移之前配置好，并保证和原有数据结构完全一样。所以只需要导出原来数据库中的表的数据和索引。数据导入的时候只需要导入表数据，因为在导入之前已经有一部分新的数据进入系统，需要在数据导入的时候处理数据重复。在数据导入的时候不禁止primary key，并且设置ignore=y保证重复数据不进入数据库，并且不影响其它数据的正常导入。为加快数据导入速度，在数据导入的时候删除原来的索引。在数据导入完成之后重新建立。五、数据导出准备1、新服务器准备需要建立好数据库系统（保证新旧数据库采用同样的字符集）。lns_lang环境变量一样，数据库的字符集：ZHS16CGB231280。如果没有设置nls_lang参数，需要在执行导出任务之前添加如下环境变量设置。以Oracle用户进入，修改 $HOME/.bash_profile文件，添加：e