《商务数据分析》课件——数据清洗.pptxVIP

商务数据分析

缺失值清洗12354格式内容清洗逻辑错误清洗重复数据清洗无价值数据清洗数据清洗数据清洗的含义数据清洗是对数据进行重新审查和校验的过程，包括对数据表中多余或重复的数据进行筛选清除，将缺失或不完整的数据补充完整，将内容、格式错误的数据进行纠正或删除等操作行为，其目的在于提升数据的质量，确保数据的准确性、完整性和一致性。

缺失值清洗数据集中某个或某些属性的值不完整，即称为数据缺失。缺失值产生的原因机械原因导致的数据缺失，如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集。由于人为原因（人的主观失误或有意隐瞒）造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的；再比如由于数据录入人员的失误导致漏录、错录或删除数据等等。数据清洗

数据清洗缺失值常见的表现形式是空值或错误标识符。空值就是原始数据表格中出现空白单元格，错误标识符即Excel中常见的错误提示如#####表示单元格中的数据超出了该单元格的宽度，或者单元格中的日期时间公式产生了一个负值；#DIV/0!表示进行公式运算时，除数使用了数值零、指向了空单元格或包含零值单元格的引用等等。缺失值表现形式缺失值处理方法对于数据表中的缺失值，我们可以利用EXCEL的定位功能，查找到数据表中的空值和错误标识符，在明确具体原因的基础上，利用excel中的相关命令和操作进行对应处理。

格式内容清洗常见问题时间、日期、数值、半全角等显示格式不一致内容中有不该存在的字符，如在头部、中间、尾部存在空格数据清洗内容与该字段应有的内容不符：比如姓名写成了性别、身份证号写成手机号等问题针对以上问题，需要我们根据具体情况进行对应的格式转换、数据修改或字符删除等处理。由于系统导出渠道或人为输入习惯的原因，整合而来的原始数据往往不能做到格式统一，内容上也容易出现空格，所以在数据分析之前需要先进行数据格式内容的清洗操作。

逻辑错误清洗违反逻辑规则而产生的错误，一般使用逻辑推理就可以发现问题。常见问题数据不合理。如，年龄200岁，个人年收入1000万，籍贯：汉族。数据不符合规则。例如某产品限购2件，客户的购买数量出现3。数据清洗数据自相矛盾。例如身份证号是1101031980XXXXXXXX，但年龄显示为18岁。针对以上问题，可以利用Excel的条件格式功能将错误数据进行标注并做出对应处理。

重复数据清洗重复数据即数据被重复、多次记录。重复数据会影响数据处理结果的正确性，从而导致数据分析出现偏差，因此需要将其删除。处理方法利用excel识别处理重复数据的方法有很多种，如利用常见的菜单删除法：选中数据区域，在数据选项卡下的数据工具功能组中，点击删除重复值，即可进行删除。除此之外，还可以利用Excel自带的排序功能、高级筛选功能、条件格式功能、Countif函数、数据透视表法等等。数据清洗

无价值数据清洗数据清洗对本次数据统计或数据分析没有产生作用的数据，可以考虑备份后直接删除对应的字段即可。

谢谢观看