大数据预处理技术 数据清理.pptxVIP

数据导入与预处理应用-第四章数据清理

离不开的主题-数据数据机器学习人工智能数据挖掘数据分析

一切的美好都是建立在庞大而整洁的数据之上，然而，现实中的数据却是：杂！脏！乱！为什么要数据清理？数据质量差错误缺失不一致重复不完整无效不合规

数据清理做些什么？数据清理，就是试图检测和去除数据集中的噪声数据和无关数据，处理遗漏数据，去除空白数据域和知识背景下的白噪声，解决数据的一致性、重复性问题，从而达到提高数据质量的目的。

第四章数据清理4.1数据清洗概述4.2数据排重4.3使用脚本组件进行数据清理

4.1数据清洗概述数据源１数据源２．．．数据源ＮＥＴＬ数据集市１数据集市２数据集市３数据仓库Kettle...

4.１.１常用的数据清洗步骤介绍Kettle没有单一的清洗步骤清洗工作，需要结合多个步骤来完成。数据的清洗工作从抽取数据就开始了！e.g.“表输入（Tableinput）”步骤SELECTstudent_id,scoreFROMstudent_infoORDERBYscoreDESC注意： 难维护，当SQL语句太过复杂时，后期的维护会非常困难。 无法审计，数据进入Kettle已经做过清洗，Kettle无法提供审计功能。

4.１.１常用的数据清洗步骤介绍转换目录校验目录脚本目录其它目录

4.１.１常用的数据清洗步骤介绍计算器（Calculator）字符串替换（Replaceinstring）字符串操作（Stringoperations）字符串剪切（Stringscut）拆分字段（SplitFields）合并字段（ConcatFields）拆分字段成多行（Splitfiledtorows）值映射（ValueMapper)字段选择（Selectvalues）去除重复记录（Uniquerows）去除重复记录(哈希值)（Uniquerows(HashSet)．．．转换目录下的常用清洗步骤：

4.１.１常用的数据清洗步骤介绍信用卡号码校验（Creditcardvalidator）电子邮箱校验（MailValidator）数据校验（DataValidator）正则表达式验证（RegexEvaluation）公式(Formula)JavaScript代码（ModifiedJavaScriptValue）用户自定义Java类（JDBC）模糊匹配（Fuzzymatch）...

4.１.2字符串清洗IDCODECITY010BJ-BeiJing10755SZ-ShenZhen20023CQ-CHONGQING3021aSH-shanghaiID字段有些无效的空白字符CODE也就是区号字段里有无效的字母，并且有些区号前没有0CITY字段里大小写不统一，并且可能并不需要前面两个字母的缩写

4.１.2字符串清洗转换目录下有三个清洗字符串的常用步骤： 字符串剪切（Stringscut） 字符串替换（Replaceinstring） 字符串操作（Stringoperations）字符串剪切：他的作用正如他的名字字符串替换：由于支持正则表达式的原因，他的功能比从字面上了解的要强大许多字符串操作：功能丰富

字符串首尾空白字符去除：Trimtype大小写：Lower/Upper、InitCap填充字符设置：Padding、Padchar、PadLength数字移除/提取：Digits删除特殊字符：RemoveSpecialcharacter4.１.2字符串清洗”字符串操作“步骤：

感谢您的观赏THANKYOUFORWATCHING