全国职业院校技能大赛双数年 ZZ052-大数据应用与服务 赛项赛题汇总 第06--10套.pdf

一、背景描述

当今时代，数据正在迅速膨胀并变大，一天之中，互联

网产生的全部内容可以达到EB级别，能够轻松刻满1.68亿

张光盘。在商业、经济及其它领域中，决策将日益基于数据

和分析而作出，而并非基于经验和直觉。那么，要怎样基于

大数据做出正确的决策呢？大数据首先需要解决的问题就

是数据存储的问题，由于数据量非常之大，想通过传统单一

的节点的存储显得力不从心，搭建分布式的文件存储系统成

为了一个完美的解决方案。解决了数据存储的问题，我们需

要从数据中提取有用信息，通过数据分析手段让数据发挥出

真正的价值。但往往采集的原始数据中包含了一些无用数据

以及噪声数据，如果直接基于这些脏数据进行分析，往往会

让分析结果产生偏差甚至错误，从而造成决策上的失准。因

此，我们有必要对这些原始数据进行清洗，以保证其数据准

确性、完整性和可用性，提高数据的质量。在解决脏数据的

困扰后，我们需要采取各种数据分析手段，提取数据中的价

值，得到可靠的结果，并以图表等直观的方式将分析结果进

行展现。然后从业务层面对分析结果进行分析和解释，从而

指引我们做出正确的决策，真正获取“数据财富”。

气候变化正在迅速地改变地球。随着全球气温不断升高、

11

海平面上升、极端天气事件频繁发生，人们对于地球的未来

更加担忧。为了更好地了解气候变化的趋势、预测未来天气

趋势，指引相关部门尽早做出举措以应对气候变化，保护人

类赖以生存的家园，你的团队将运用大数据技术对天气数据

进行分析及决策。搭建大数据平台集群环境以应对海量天气

数据的存储，结合数据库的毫秒级的响应，为天气决策系统

提供数据存储及查询保障。通过数据清洗技术，去除数据中

的噪音，提高数据质量。通过数据标注技术，结合业务认知，

对数据进行分类标注，为后续通过人工智能算法模型决策奠

定基础。通过各种数据分析技术，让看似杂乱无章的数据，

变得灵动，找出天气变化的内在规律。通过数据可视化技术，

让数据分析结果及天气变化规律以一种最为直观的方式呈

现。最后从业务层面对天气数据分析结果进行分析及解释，

使气象学家更好的了解气候变化，并做出精准决策应对气候

问题。你们作为该大数据小组的技术人员，请按照下面任务

完成本次工作。

二、模块一：平台搭建与运维

（一）任务一：大数据平台搭建

1.子任务一：Zookeeper集群安装配置

本任务需要使用root用户完成相关配置，具体要求如

下：

（1）在master节点将/usr/local/src目录下的

apache-zookeeper-3.5.7-bin.tar.gz包解压到/opt路径下，

22

将完整命令截图粘贴到对应答题报告中；

（2）把解压后的apache-zookeeper-3.5.7-bin文件夹

更名为zookeeper-3.5.7，将完整命令及结果截图粘贴到对

应答题报告中；

（3）在master节点修改/root/.bash_profile文件，

设置Zookeeper环境变量，将环境变量配置内容截图粘贴到

对应答题报告中；

（4）将/opt/zookeeper-3.5.7/conf目录下的

zoo_sample.cfg文件更名为zoo.cfg,将完整命令截图粘

贴到对应答题报告中；

（5）修改/opt/zookeeper-3.5.7/conf/zoo.cfg配置文

件，配置zookeeper服务器存储快照文件（zookeeper节点

数据）的目录为/opt/zookeeper-3.5.7/data目录，将修

改的内容截图粘贴到对应答题报告中；

（6）修改/opt/zookeeper-3.5.7/conf/zoo.cfg配置文

件，配置master节点为zookeeper集群的第一号服务器、

slave1节点为zookeeper集群的第二号服务器、slave2节

点为zookeeper集群的第三号服务器，并且将master、slave1、

slave2节点与集群中的Leader节点交换信息的端