《大数据ETL》课程标准（含课程思政）.docxVIP

《大数据ETL》课程标准

课程代码Q

适用专业

大数据技术专业

适用学制

5年一贯制（5+2贯通培养）

编制人

审核人

版本号

202302

一、课程名称

大数据ETL。

二、适用专业

大数据技术专业。

三、课程学时与学分

72学时，4学分。

四、课程性质

本课程是大数据技术专业的一门专业核心课程，是从事数据采集工程师、ETL工程师、数据仓库工程师等岗位必须学习的课程，将为后续学习《大数据集群运维监控》、《大数据集群运行问题排查、调优》、《数据仓库建设》等课程奠定基础。本课程开设在第8学期，学习该课程之前需具备一定的SQL编程、数据采集、数据处理、数据分析能力，《互联网数据采集》、《大数据组件安装部署》、《数据清洗与预处理》是该课程的前导课程。本课程学习的知识和技能可以为第9、10学期考取大数据分析与应用X证书（初级）、华为HCIA—BigData大数据认证证书做知识和技能准备。

五、课程目标

通过本课程的学习，能完成医疗数据中台数据汇总任务、商务机构交易数据汇总任务、汽车制造行业供应链数据汇总任务、传统生产系统数字化转型数据仓库数据建设任务、能源行业数字化转型数据仓库数据建设任务，达到以下具体目标：

（一）素养目标

1.培养学生的政治思维、政治洞察力与政治敏感性，培养学生的社会主义核心价值观、爱国主义情操。（培养规格1）

2.能够熟练掌握与本专业从事职业活动相关的国家法律、行业规定，掌握信息数据安全、网络安全防护、质量管理等相关知识与技能，了解大数据、网络信息等产业文化，遵守职业道德准则和行为规范，具备社会责任感和担当精神。（培养规格2）

3.具备大数据思维，具备较强的逻辑思维能力。（培养规格5）

4.关心国内外科技发展趋势，具备使用大数据技术服务于社会的意识，具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力。（培养规格4）

5.具备自学能力，能适应大数据行业的不断变革发展，具备解决实际问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意识。（培养规格5）

（二）知识目标

1.掌握不同类型的数据库接口操作方法。（培养规格12）

2.熟练掌握至少一门脚本语言（SQL/Python/Shell等）。（培养规格12）

3.掌握常见的数据清洗方法、数据转换策略。（培养规格13）

4.熟悉Sqoop、Hive、Spark等大数据组件的使用方法。（培养规格5）

5.了解数据仓库设计方法。（培养规格5）

6.熟悉Kettle等ETL工具的使用方法与常见技术问题的解决方法。（培养规格18）

7.了解数据采集与处理中的法律与政策规范、主流行业的数据标准规范。（培养规格6）

（三）能力目标

1.能够基于数据仓库设计规范和数据源系统制定ETL策略，使用ETL工具将业务数据导入数据仓库。（培养规格18，培养规格23）

2.能够使用脚本语言（SQL/Python/Shell等）操作数据，完成数据清洗与处理。（培养规格18）

3.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库。（培养规格18）

4.能够使用Kettle等ETL工具进行工作流控制。（培养规格18）

5.能够对输出数据质量进行核验，对不符合要求的数据进行纠偏。（培养规格18）

6.能够基于数据仓库提供面向业务的报表、封装数据提取接口。（培养规格12）

7.具备大数据分析与应用X证书（初级）、华为HCIA—BigData大数据认证证书的能力。（培养规格18）

六、课程内容与要求

本课程以不同行业的数据仓库ETL任务为载体，坚持立德树人的根本要求，结合学生学习特点，遵循职业教育人才培养规律，有机融入思想政治教育内容，落实课程思政要求，紧密联系工作实际，突出应用性和实践性，注重学生职业能力和可持续发展能力的培养。合理设计：学习单元、能力点、学习内容与要求。

本课程按照行业类型，知识点覆盖范围从小到大、技能点从单一到综合的规律确定学习模块内容，合理序化教学内容。学习单元1、2、3、4、5分别涉及健康医疗行业、商务行业、汽车制造业、传统生产行业、能源（石化）行业，在知识体系上是并列关系，在难易度上，1、2、3属于基础ETL任务，4、5为进阶ETL任务，涉及数据仓库的内容。

表1课程内容与要求

序号

学习单元

能力点

学习内容与要求

学习成果

建议学时

1

医疗数据中台数据汇总

1.能够对接医疗业务系统数据接口，参与制定ETL策略，使用ETL工具将业务数据导入数据仓库。

2.能够编写脚本操作数据，完成医疗数据清洗与处理。

3.能够使用Kettle等ETL工具进行工作流控制。

4.能够使用Sqoop组件完成数据转换，将数据转换结果装载至目标数据仓库。

5.能对输出数据质量