山西省第十一届职业院校“四合天地杯”技能大赛大数据技术与应用赛项规程.docx

附件：山西省第十一届职业学校技能大赛高职组“四合天地杯”大数据技术与应用赛项规程一、赛项名称赛项名称：大数据技术与应用赛项组别：高职组二、竞赛目的本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的职业需求，围绕大数据处理相关算法应用与软件工具运用。赛项选取典型的大数据应用业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和数据分析能力、了解Hadoop基本配置及相关工具软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据应用产业发展储备及输送新鲜血液。通过举办本赛项，可以搭建校企合作的平台，提升高职电子信息类及相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的必威体育精装版需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。三、竞赛内容赛项以大数据技术与应用为核心内容和基础，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。具体包括：1.Hadoop平台环境部署与基本配置。2.综合利用numpy、pandas、matplotlib、MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、分布式数据库Hbase、Python等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。3.依据竞赛应用需求和分析结果，完成数据分析报告的编写。竞赛内容构成如下：考核环节考核知识点和技能点Hadoop平台安装部署Hadoop平台安装部署和基本配置。HDFS常用操作命令（查询文件类别、上传、删除文件、查询HDFS基本统计信息）。Hadoop平台常见基础组件应用。数据抓取常见数据类型的数据抓取，实现数据抓取、解析和初步整理，常见的网络数据、数据文件、关系数据库等数据源的数据抓取掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换，掌握Hive数据管理常用命令。能够通过Python编程，使用分布式计算机制实现数据的抓取。数据清洗、整理、计算和表达基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。应用Python编程工具，实现给定数据源的采集，提取、清洗、转换、分析、挖掘等操作。实现给定数据源的预处理。利用Python编程，实现数据的整理、计算和表达等知识技能，并能够对相关知识技能扩展应用。综合分析综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python编程工具，实现对提供的数据源分析、展现，根据展现结果得出结论，并对结论进行分析，形成分析报告。竞赛各阶段分值权重如下：序号分值权重Hadoop平台安装部署权重20%数据抓取权重20%数据清洗、整理、计算和表达权重25%综合分析权重30%团队分工明确合理、操作规范、文明竞赛权重5%四、竞赛方式大数据技术与应用赛项为团体赛。每支参赛队由3名参赛选手组成，须为同校在籍学生，不允许跨校组队，其中队长1名。竞赛时间为4个小时，竞赛连续进行。五、竞赛流程日期时间事项比赛前一天8:00—15:00各参赛队报到15:00—16:00赛前裁判会议16:00—16:30各参赛校领队会，抽签决定顺序号16:30—17:00熟悉赛场比赛当天7:50—8:20检录入场、抽签决定工位号8:20—8:30试题发放8:30—12:30正式比赛12:30—18:00成绩评定18:00公布结果六、竞赛规则1. 参赛选手须为3名在籍学生。2. 严禁参赛选手、赛项裁判、工作人员私自携带通讯、摄录设备进入比赛场地。3. 竞赛工位通过抽签决定。4. 竞赛所需的硬件设备、系统软件和辅助工具由组委会统一准备，参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。5. 参赛队自行决定选手分工、工作程序和时间安排。6.所有参赛选手都必须携带参赛证件进行检录。参赛证件包含身份证、学生证、参赛证。7. 参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开相关工作。参赛选手迟到超过30分钟不得入场。8. 比赛期间，不安排指导教师进行现场指导。9. 竞赛过程中，选手须严格遵守操作规程，确保人身及设备安全，并接受裁判员的监督和警示。如遇到设备或软件等故障，参赛选手应当举手示意；现场裁判应及时予以解决。如确因计算机软件或硬件故障，致使操作无法继续的，由现场裁判协同技术支持人员共同解决。10. 若因选手因素造成设备故障或损坏，无法继续竞赛的，由现场裁判报告裁判长。裁判长有权决定中止