《数据导入与预处理应用》第4章 - 01 - 数据清洗概述.pptVIP

*第二步，过滤参照表。使用过滤记录（Filterrows）步骤过滤参照表的数据过滤条件设“SRC_SYS=SystemB”，筛选出SystemB的参照数据4.1.4使用参照表清洗数据*第三步，查询参照表。使用流查询（Streamlookup）步骤查询参照表4.1.4使用参照表清洗数据1*4.1.4使用参照表清洗数据最后，预览查询结果：*4.1.5数据校验基于参照表的数据校验相对简单实际应用中会有一些比较复杂的数据校验，比如：电子邮箱的地址必须是有效的格式输入的数据都必须是大写/小写日期必须是dd-mm-yyyy的格式成绩分数不能大于100依据预定义的业务规则，找出不符合规则的数据*校验目录下： 数据校验（DataValidator）信用卡校验（Creditcardvalidator）电子邮箱校验（MailValidator）XML文件校验（XSDValidator）4.1.5数据校验“数据校验”步骤:是一个高度可配置的数据过滤器后面三个步骤功能相对“单一”，所谓单一，并不是功能简单，而是指针对性很强比如“电子邮箱校验”步骤，不仅可以用来验证字符串是否满足电子邮箱的规则，还可以检查邮箱的真实有效性*这节主要介绍“数据校验”步骤4.1.5数据校验添加校验条件，个数不受限制删除校验条件*4.1.5数据校验示例：新建转换valid_op，添加一个“DataGrid”步骤未能满足如下规则：1.所有字段值不能为NULL。2.QQ为5至12个数字组成。3.薪资介于4000-10000。*4.1.5数据校验对第一条规则，只需要不选中“Nullallowed?”选项就可以以“姓名”字段为例:添加一条校验条件,命名为“姓名_null”相关设置如右图所示*1.第一个复选框：报告所有错误，而不是仅仅第一条。2.第二个复选框：将所有错误用分隔符连接成一行进行输出。3.“Validationdescription”：设置本条校验条件的一个描述，当有多条校验条件时，方便快速查找。4.“Nameoffieldtovalidate”：设置本条校验条件的校验对象，亦即要校验的字段名。5.“Errorcode”：设置本条校验不通过时产生的错误代码。6.“Errordescription”：设置本条校验不通过时错误的具体描述。4.1.5数据校验“姓名_null”校验条件的其它设置对于规则1，其它几个字段的校验条件可类似“姓名_null”设置*4.1.5数据校验对第二条规则，可以写一个正则表达式来匹配QQ字段的输入。需要设置数据类型（DataType）为“String”，并将正则表达式设为“[0-9]{5,12}”或者“\d{5,12}”正则表达式“[0-9]{5,12}”或者“\d{5,12}”，表示一个由5至12个数字组成的字符串。*4.1.5数据校验对第三条规则，设置数据类型为“Number”，设置最大值（Maximumvalue）为“10000”，最小值（Minimumvalue）为“4000”即可。*4.1.3字段清洗主要介绍转换目录下的四个关于字段清洗的步骤：拆分字段成多行（Splitfiledtorows）将一行记录拆分成多行记录，新的记录里有一个新的字段，由拆分后的子字符串填充拆分方式：根据分隔符进行拆分，其中分隔符支持正则表达式被拆分的源字段仍保留在新的记录里IDNOTE1A,B,C拆分后IDNOTENOTE_NEW1A,B,CA1A,B,CB1A,B,CC比如:以“,”为分隔符，对NOTE字符进行拆分，并指定新的字段为NOTE_NEW*拆分字段（SplitFields）根据分隔符将输入的一个字段拆分成多个字段被拆分的字段将不复存在注意，这里的分隔符不支持正则表达式4.1.3字段清洗IDNOTE1A,B,C拆分后IDNOTE1NOTE2NOTE31ABC比如:以“,”为分隔符，对NOTE字符进行拆分，并指定新的字段为NOTE1,NOTE2,NOTE3*合并字段（ConcatFields）将多个字段用分隔符连接起来输出到一个新的字段被合并的字段在新记录里原样保留合并后比如:以“;”为分隔符连接NOTE1,NOTE2,NOTE3，新字段为NOTEIDNOTE1NOTE2NOTE31ABCIDNOTE1NOTE2NOTE3NOTE1ABCA;B;C4.1.3字