ETL开发工程师招聘笔试题及答案2025年.docxVIP

ETL开发工程师招聘笔试题及答案2025年

一、基础知识题（共30分）

1.ETL的核心流程通常不包括以下哪个环节？()

A.抽取（Extract）

B.转换（Transform）

C.加载（Load）

D.可视化（Visualization）

答案：D

解析：ETL（Extract-Transform-Load）的核心流程明确包含抽取、转换、加载三个环节，可视化属于数据展示阶段，不属于ETL核心流程。

2.以下哪项不是数据清洗的常见操作？()

A.去重（Deduplication）

B.填充缺失值（MissingValueImputation）

C.数据加密（DataEncryption）

D.格式标准化（FormatStandardization）

答案：C

解析：数据清洗的目标是提高数据质量，常见操作包括去重、填充缺失值、格式标准化等；数据加密属于数据安全范畴，不属于数据清洗。

3.ETL流程中，转换（Transform）必须在抽取（Extract）之后、加载（Load）之前执行。()

答案：×

解析：在实时ETL场景中，转换可能与抽取同步进行（如边抽取边转换），或在加载过程中动态转换（如流处理中的实时转换），因此顺序并非绝对固定。

4.开源ETL工具中，基于Java开发且支持图形化建模的典型工具是____。

答案：Kettle（或PentahoDataIntegration）

5.数据仓库中，用于描述数据来源、处理逻辑、更新频率等信息的文档称为____。

答案：元数据（Metadata）

二、技术实操题（共40分）

6.请使用Python的pandas库完成以下操作（15分）：

要求：

-读取路径为”/data/source.csv”的CSV文件（包含字段：id,name,age,create_time）

-过滤掉age小于0或大于120的异常数据

-将create_time字段从字符串格式（如”2025-03-1514:30:00”）转换为datetime类型

-将处理后的数据写入MySQL数据库的”user_info”表（假设已配置好数据库连接对象conn）

答案：

importpandasaspd

fromsqlalchemyimportcreate_engine

#读取CSV文件

df=pd.read_csv(/data/source.csv)

#过滤异常age数据

df=df[(df[age]=0)(df[age]=120)]

#转换create_time为datetime类型

df[create_time]=pd.to_datetime(df[create_time])

#写入MySQL（假设conn为SQLAlchemy引擎）

df.to_sql(

name=user_info,

con=conn,

if_exists=append,#可选replace（覆盖）或fail（失败）

index=False

)

7.请用HiveQL编写一个ETL脚本（25分）：

要求将ODS层的原始订单表（ods_order）同步到DWD层的明细订单表（dwd_order_detail），需完成以下处理：

-补充字段：计算订单总金额（total_amount=num*price）

-过滤条件：订单状态（order_status）为”已支付”且创建时间（create_time）在最近30天内

-添加分区字段：dt（格式为’yyyy-MM-dd’，取值为create_time的日期部分）

答案：

--创建DWD层分区表（假设首次执行）

CREATETABLEIFNOTEXISTSdwd_order_detail(

order_idSTRING,

user_idSTRING,

numINT,

priceDECIMAL(10,2),

total_amountDECIMAL(10,2),--新增计算字段

order_statusSTRING,

create_timeTIMESTAMP

)

PARTITIONEDBY(dtSTRING)--按日期分区

ROWFORMATDELIMITEDFIELDSTERMINATEDBY\t;

--同步数据并处理

INSERTOVERWRITETABLEdwd_order_detail

PARTITION(dt)--指定分区字段

SELECT

order_id,

user_id,