大数据环境软件.docxVIP

大数据环境软件操作系统 CentOS 7 #zip unzip 命令安装 yum install zip unzip#netstat等命令 网络工具包安装yum install net-tools软件安装包-rw-r--r--. 1 root root 4月 30 10:14 apache-storm-0.9.3.tar.gz-rw-r--r--. 1 root root 153512879 5月 26 16:15 jdk-7u79-linux-x64.tar.gzdrwxr-xr-x. 10 root root 4096 7月 10 11:55 jzmq-rw-r--r--. 1 root root 4月 17 10:06 kafka_2.10-.zip-rw-r--r--. 1 root root 1358190 5月 27 11:26 redis-3.0.1.tar.gz-rw-r--r--. 1 root root 1877380 5月 12 2011 zeromq-2.1.7.tar.gz-rw-r--r--. 1 root root 7月 10 02:50 zookeeper-3.4.6.tar.gzJAVA vi /etc/profile在文件末尾增加如下配置内容#set java environmentJAVA_HOME=/usr/local/jdk1.7.0_79/CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH配置生效source /etc/profile验证配置结果[root@localhost local]# java -versionjava version 1.7.0_79Java(TM) SE Runtime Environment (build 1.7.0_79-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)[root@localhost local]# javac -versionjavac 1.7.0_79zookeeper 重命名 $Zookeeper_home/conf/zoo_sample.cfg 为 zoo.cfgZookeeper 默认启动使用 zoo.cfg 配置文件进入zookeeper 安装目录 cd /usr/local/zookeeper-3.4.6/启动zookeeper ./bin/zkServer.sh start通过连接命令确认是否连接成功GCCyum -y install gccyum -y install gcc-c++storm1.ZeroMQtar -xzf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configuremakesudo make installzeroMQ 需要安装UUID 包支持 yum -y install uuid yum install libuuid-devel2.JZMQ手动编译 zeromq 内的java文件$ cd src/org/zeromq/$ /jzmq/src/org/zeromq]$ javac? *.java$ cd ..$ make...? success!$ sudo make install3.paythonpython -Vstorm 集群部署进入storm 安装目录cd /usr/local/apache-storm-0.9.3/nimbus 、stormUI为 00supervisor 为 01、02以下是启动Storm各个后台进程的方式：Nimbus: 在Storm主控节点上运行bin/storm nimbus /dev/null 21 启动Nimbus后台程序，并放到后台执行；Supervisor: 在Storm各个工作节点上运行bin/storm supervisor /dev/null 21 启动Supervisor后台程序，并放到后台执行；UI: 在Storm主控节点上运行bin/storm ui /dev/null 21 启动UI后台程序，并放到后台执行，启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。kafka KAFKA_HOME /config/perties下面为00 机器的配置broker.id=200=00zookeeper.connect