抽取历史库和业务备份库DW表比业务表数据多.docxVIP

抽取历史库或业务备份库时DW表比业务表数据多

1背景描述：代理作业执行成功完成后，数据从业务库中成功抽到DW库中，之后进行数据校验核对，判断数据量是否相同。

2报错信息：通过查询数据量，发现DW表比业务表数据多。

3原因分析：a)业务表中的数据有物理删除，而抽取包无法判断物理删除情况，导致DW库中的表数据较多。

b)业务库为十进制（不区分大小写），而DW库为二进制（区分大小写），将相同数据识别为两条，导致数据较多。

c)开发抽取包时，主键设置错误，导致数据重复。

4解决方法：

?针对原因a和原因b,可通过在DW库中执行脚本删除数据。其步骤如下：

（1）首先建立链接服务器：

打开SSMS，找到服务器对象--链接服务器，右击新建链接服务器，按如下操作：

常规---链接服务器（输入服务器名称），服务器类型（选择SQLSEVER）注意：此服务器必须可以在可连接的范围内。

(2)安全性---使用此安全上下文建立连接（输入登录名和密码）

建立成功后，在链接服务器下会出现该服务器，右键单击--测试连接，可验证连接是否成功。

在源库中执行以下脚本：

Setansi_nullson

Setansi_warningson

--将业务表中的主键值插入TEMP_TABLE中

Select主键1，主键2，...

IntoTEMP_TABLE

FROM表名

在DW库中执行脚本：

Setansi_nullson

Setansi_warningson

--获取业务表中的TEMP_TABLE数据插到DW库中的TEMP_TABLE中

Select主键1，主键2，...

IntoTEMP_TABLE

FROM[链接服务器名].源库名.dbo.TEMP_TABLEwith(nolock)

--获取DW表比业务表多的主键值数据并插入TEMP_TABLE_EX中

Selectt.主键1，t.主键2，...

intoTEMP_TABLE_EX

FROM表名t

LeftjoinTEMP_TABLEt1

Ont.主键1=t1.主键1andt.主键2=t1.主键2

Wheret.主键1isnullandt.主键2isnulland...)

--删除多余的数据

Delete表名

FromTEMP_TABLE_EX

WHERE表名.主键1=TEMP_TABLE_EX.主键1and表名.主键2=TEMP_TABLE_EX.主键2and...

--查询DW表的行数，验证结果

Selectcount(1)from表名

--删除TEMP_TABLE

DroptableTEMP_TABLE

--删除TEMP_TABLE_EX

DroptableTEMP_TABLE_EX

?针对原因c,需要到抽取包中重新设置其主键，再重新进行抽取即可。