目录4.2数据集成与ETL流程4.1数据格式转换4.3数据.pptxVIP

目录项目实训多格式商品数据读取与格式转换4.2数据集成与ETL流程4.1数据格式转换4.3数据融合与冲突解决

学生能够了解常见的数据文件格式及其在实际应用中的特点与差异。掌握数据格式转换的常见方法与转换过程中可能出现的技术问题学生能够理解数据集成的基本概念，掌握ETL三阶段的核心任务。了解主流数据集成工具的作用与功能特点学习目标学生能够理解数据融合的基本类型和适用场景，掌握常见冲突的识别与分类方法。了解融合后数据一致性的重要性与常用评估手段

4.1数据格式转换

4014.1.1常见数据格式介绍数据格式指什么？数据格式是数据存储与传输的结构方式，不同格式适用于不同场景与系统间的交互。为什么要了解常见格式？不同系统或平台输出的数据格式可能不一致学会识别与转换格式，有助于数据对接与整合格式选择影响数据的可读性、解析效率与兼容性

5014.1.1常见数据格式介绍常见格式特点对比格式说明应用场景优点CSV以逗号分隔的纯文本表格型结构化数据简单、通用、易解析JSON层级结构的键值对WebAPI传输、配置文件支持嵌套、语义明确XML标记语言，结构类似HTML配置文档、跨平台系统通信可扩展性好、格式严谨Excel二进制/压缩格式表格、财务报表支持公式、表头、样式

6014.1.2数据格式之间的转换方法与工具格式转换转换目标方法或工具转换目标方法或工具CSV→JSONpandas.to_json()、csv+json模块CSV→JSONpandas.to_json()、csv+json模块JSON→CSVjson.load()+pandas.DataFrame()JSON→CSVjson.load()+pandas.DataFrame()XML→DataFramexml.etree.ElementTree+手动解析XML→DataFramexml.etree.ElementTree+手动解析Excel?CSV/JSONpandas.read_excel()/.to_excel()Excel?CSV/JSONpandas.read_excel()/.to_excel()

7014.1.2数据格式之间的转换方法与工具示例1：CSV转JSON（pandas方式）importpandasaspddf=pd.read_csv(students.csv)df.to_json(students.json,orient=records,force_ascii=False,indent=2)示例2：JSON转DataFrameimportjsonwithopen(students.json,r,encoding=utf-8)asf:data=json.load(f)df=pd.DataFrame(data)df.to_csv(students_converted.csv,index=False)

8014.1.2数据格式之间的转换方法与工具示例3：解析XML并转换为DataFrameimportxml.etree.ElementTreeasETimportpandasaspdtree=ET.parse(students.xml)root=tree.getroot()rows=[]forstudentinroot.findall(student):row={name:student.find(name).text,age:int(student.find(age).text),score:float(student.find(score).text)}rows.append(row)df=pd.DataFrame(rows)df.to_csv(students_from_xml.csv,index=False)

9014.1.3格式转换中的问题分析转换时可能出现哪些问题？问题类型说明与影响数据丢失嵌套结构展开后只保留部分字段类型不匹配原JSON为字符串，转换后变为float出错编码问题非UTF-8文件保存乱码或读取失败格式结构不一致XML层级不规范，造成字段缺失应对策略显式指定dtype类型或使用astype()统一字段类型使用orient参数控制JSON输出格式（如records、columns）对嵌套结构进行手动flatten（展平）使用try-except捕获不规范字段转换异常

10014.1.4实操案例：网页采集+多格式转换+数据预处理案