第二章Spark部署及任务运行.pdfVIP

2

第二章

Spark部署及任务运行

2.1

集群基础环境搭建

Spark可以运行在所有类unix环境中，例如：Linux，Mac

OS

和Windows，一般企业中使用

Spark基于的都是Linux环境，后期我们进行Spark搭建和其他框架整合也是基于linux环境，使用

的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主

要针对Spark集群使用到的基础环境进行配置，不再从零搭建Centos系统，另外对后续整合使用

到的技术框架也一并进行搭建，如果你目前已经有对应的基础环境，可以忽略本小节，Linux及各

个搭建组件使用版本如下表所示。

系统或组件名称版本

CentosCentOS-7-x86_64-DVD-1810

JDKjdk-8u431-linux-x64

MySQL8.3.0

Zookeeper3.6.3

HDFS3.3.6

Hive4.0.0

Hbase2.6.0

Redis6.2.7

Kafka3.9.0

2.1.1

Centos7节点配置

这里准备5台Linux节点，节点名称和ip信息如下，我们可以从头搭建各个Linux节点也可以基于已

有快照创建各个Linux节点。

节点IP节点名称

node1

node2

node3

node4

node5

这里默认已经创建好以上各个节点，并且每个节点分配资源为4核2G内存，建议每台节点至少给

到2核2G内存，否则可能一些组件不能正常运行，下面进行节点的其他配置。

配置各个节点的Ip

启动每台节点，在对应的节点路径“/etc/sysconfig/network-scripts”下配置ifg-ens33文件配

置IP（注意，不同机器可能此文件名称不同，一般以ifcfg-xxx命名），以配置ip

为例，ifcfg-ens33配置内容如下：

TYPE=Ethernet

BOOTPROTO=static

#使用static配置

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

ONBOOT=yes

#开机启用本配置

IPADDR=

#静态IP

GATEWAY=

#默认网关

NETMASK=

#子网掩码

DNS1=

#DNS配置

可以与默认网关相同

以上其他节点配置只需要修改对应的ip即可，配置完成后，在每个节点上执行如下命令重启网络

服务：

systemctl

restart

network.service

检查每个节点ip执行如下命令：

ip

addr

配置主机名

在每台节点上修改/etc/hostname,配置对应的主机名称，参照节点IP与节点名称对照表分别为：

node1、node2、node3、node4、node5。配置完成后需要重启各个节点，才能正常显示各个

主机名。

关闭防火墙

执行如下命令确定各个节点上的防火墙开启情况，需要将各个节点上的防火墙关闭：

#检查防火墙状态

firewall-cmd

--state

#临时关闭防火墙（重新开机后又会自动启动）

systemctl

stop

firewalld

或者systemctl

stop

firewalld.service

#设置开机不启动防火墙

systemctl

disable

firewalld

关闭SELinux

SELinux就是Security-Enhanced

Linux的简称，安全加强的linux。传统的linux权限是对文件和

目录的owner,

group和other的rwx进行控制，而SELinux采用的是委任式访问控制，也就是控制

一个进程对具体文件系统上面的文件和目录的访问，SELinux规定了很多的规则，来决定哪个进

程可以访问哪些文件和目录。虽然SELinux很好用，但是在多数情况我们还是将其关闭，因为在

不了