目录-2.2 数据清洗技术 2.1 数据采集技术爬虫与 API 2.3 数据去重与标准化-1761014014391.pptxVIP

目录项目实训订单数据采集与清洗标准化实训2.2数据清洗技术2.1数据采集技术（爬虫与API）2.3数据去重与标准化

学生能够理解网页数据采集与API接口获取数据的原理和区别。掌握主流数据采集工具的基本用法与适用场景学生能够识别常见的脏数据问题，理解清洗操作在数据分析前的重要性。掌握缺失值、异常值处理的基本方法与处理策略学习目标学生能够理解数据去重的技术原理和标准化处理的基本概念。掌握常见的去重策略与标准化方式在数据一致性中的应用

2.3数据去重与标准化

4012.3.1去重的常用方法与技术什么是数据去重？数据去重（Deduplication）是指在数据集中识别并删除内容重复、结构相同或逻辑冗余的记录。为什么需要去重？去除重复记录有助于减少计算冗余提升统计分析与建模的准确性保证数据唯一性与逻辑完整性

5012.3.1去重的常用方法与技术常见去重方法方法类型应用场景示例方法基于字段匹配判断一行中某几个字段组合是否完全一致df.drop_duplicates(subset=[...])基于哈希特征将文本等内容哈希化后比对是否一致hashlib.md5()哈希文章、评论内容基于模糊匹配名称略有差异但逻辑重复（如“张三”vs“张三同学”）fuzzywuzzy或sklearn的文本聚类基于聚类距离数值类数据中近似值判断为同一组KMeans聚类处理后去重

6012.3.2数据标准化的含义与常见场景什么是数据标准化？标准化是将数据字段统一到相同格式、单位、编码或结构的过程。可分为格式标准化和数值标准化两个层面。标准化的重要性？确保字段具有一致的语义与可解释性避免模型因维度差异造成偏差支持多数据源融合分析

7012.3.2数据标准化的含义与常见场景典型标准化任务示例标准化类型说明示例代码日期格式统一将、“2024/05/01”等格式转为标准日期pd.to_datetime(df[date],errors=coerce)编码统一性别“男/女”与“1/0”标准化为“Male/Female”df[gender].replace({男:Male,女:Female})单位统一金额“万元”转换为“元”df[price]*=10000数值标准化（归一化、标准差）用于建模、聚类等StandardScaler().fit_transform()等

8012.3.3去重与标准化对数据质量提升的意义两者如何协同提升质量？去重确保唯一性与准确性标准化确保一致性与兼容性不清洗会出现什么问题？重复记录会误导统计与报表格式混乱会导致字段难以比较或合并模型训练中，未标准化字段会引起数值偏置

9012.3.3去重与标准化对数据质量提升的意义实际场景场景去重作用标准化作用电商订单数据去除重复下单记录商品价格单位统一、日期字段统一格式招生报名信息去除重复报名/重复身份证号统一“出生日期”“省份”“性别”字段格式舆情评论分析（NLP）去除重复发言、垃圾评论标准化表情、错别字、用词变体

10012.3.4实操案例：订单数据去重与标准化处理流程示例文件说明：原始数据文件：orders_raw.csv脚本文件：data_dedup_standardize.py示例数据：orders_raw.csv（部分）order_id,product,price,price_unit,quantity,order_date,customer_name1001,手机,2000,元,1,2024-05-01,张三1002,耳机,3,万元,1李四1003,耳机,3,万元,1,2024-05-02,李四1004,鼠标,50,元,,2024/05/03,赵六1005,键盘,,元,2,2024-05-03,周七

11012.3.4实操案例：订单数据去重与标准化处理流程Python脚本（含详细注释）#文件名：data_dedup_standardize.py#功能：订单数据去重+字段标准化（价格单位、日期格式、数量缺失等）importpandasaspdfromsklearn.preprocessingimportStandardScaler#第一步：读取原始数据df=pd.read_csv(orders_raw.csv)#第二步：字段标准化#1.日期统一格式df[order_date]=pd.to_datetime(df[order_date],errors=coerce)#2.数值单位统一：万元→元df[price_unit]=df[price_unit].replace({万元:10000,元:1})df[price]=df[price]*df[pric