2022 年云南省职业院校技能大赛（高职组） “大数据技术与应用”赛项竞赛规程.pdf

2022年云南省职业院校技能大赛（高职组）

“大数据技术与应用”赛项竞赛规程

一、赛项名称

赛项名称：大数据技术与应用

赛项组别：高职组

二、竞赛目的

为适应大数据产业对高素质技术技能型人才的职业需求，赛项以

大数据技术与应用为核心内容和工作基础，重点考查参赛选手基于

Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、Flume、

Kafka、Flink等相关技术的特点，基于Scala、JavaScript等开发

语言，综合软件开发相关技术，解决实际问题的能力，激发学生对大

数据相关知识和技术的学习兴趣，提升学生职业素养和职业技能，努

力为中国大数据产业的发展储备及输送新鲜血液。

通过举办本赛项，可以搭建校企合作的平台，提升大数据技术与

应用专业及其他相关专业毕业生能力素质，满足企业用人需求，促进

校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学

资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案

和人才培养模式等方面，跟踪社会发展的必威体育精装版需要，缩小人才培养与

行业需求差距，引领职业院校专业建设与课程改革。

三、竞赛方式

1、比赛以团队方式进行，不得跨校组队，同一学校的报名参赛

队伍不超过2支。

2、每个参赛队由1名领队（可由指导教师兼任）、2名指导教

师、3名选手（其中队长1名）组成，指导教师须为本校正式或特聘

半年以上教师，参赛选手和指导教师报名获得确认后不得随意更换。

3、竞赛时间6小时。

-1-

四、竞赛时间和地点

时间：2022年1月6日-7日

地点：云南国土资源职业学院经开校区

五、竞赛内容

赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛

选手基于Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、

Flume、Kafka、Flink等技术的特点，综合软件开发相关技术，解决

实际问题的能力，具体包括：

1.掌握基于Spark的离线分析平台、基于Flink的实时分析平台，

按照项目需求安装相关技术组件并按照需求进行合理配置；

2.掌握基于Spark的离线数据抽取相关技术，完成指定数据的抽取

并写入Hive分区表中；

3.综合利用SparkCore、SparkSQL等技术，使用Scala开发语言，

完成某电商系统数据的离线统计服务，包括销量前5商品统计、

某月的总销售额统计、每个月的销售额统计、每个用户在线总时

长统计，并将统计结果存入MySQL数据库中；

4.综合利用Flume、Flink相关技术，使用Scala开发语言，完成将

某电商系统的用户操作日志抽取到Kafka中，消费Kafka中的数

据并计算商城在线人数,并统计该电商系统的UV与PV；

5.综合运用HTML、CSS、JavaScript等开发语言，Vue.js前端技术，

结合Echarts数据可视化组件，对MySQL中的数据进行可视化呈

现；

6.根据数据可视化结果，完成数据分析报告的编写；

7.竞赛时间6小时，竞赛连续进行。

-2-

竞赛内容构成如下：

考核环节考核知识点和技能点

Hadoop完全分布式安装配置

Spark安装配置

大数据平台环境搭建

Flink安装配置

（LinuxShell）

Kafka安装配置

Flume安装配置

使用Spark抽取MySQL指定数据表中的新增的商品数据到

ODS层的指定的分区表中

离线数据抽取使用Spark抽取MySQL指定数据表中的新增的用户数据到

（Scala）ODS层的指定的分