1_海量数据管理第三次试验.pdfVIP

海量数据管理第三次试验 安装kafka mysql-kafka-hbase （kafka connect连接实现增量同步） 异常处理 参考资料 1.安装kafka 1.上传压缩包到/home/work/_src ，解压 [root@c0 _src]# tar -zxvf kafka_2.11-2.1.1.tgz [root@c0 _src]# mv kafka_2.11-2.1.1 /home/work/_app/ 2.修改配置文件 修改perties [root@c0 kafka_2.11-2.1.1]# cd /home/work/_app/kafka_2.11-2.1.1/config/ [root@c0 config]# vim perties broker.id 0 listeners PLAINTEXT ://0:9092   注：这里是自己机器的IP，下面也是 zookeeper.connect 0:2181,1:2181,2:2181,192.168.1 33.23:2181 delete.topic.enable true 修改生产者配置文件 [root@c0 config]# vim perties bootstrap.servers 0:9092,1:9092,2:9092,192.168.1 33.23:9092 修改消费者配置文件 [root@c0 config]# vim perties bootstrap.servers 0:9092,1:9092,2:9092,192.168.1 33.23:9092 3.将kafka的安装包拷贝到其他机子上 [root@c0 config]#for N in $(seq 1 3);do scp -r /home/work/_app/kafka_2.11-2.1.1 c$N:/home/work/_app/;done;   4.修改c1、c2和c3机器上kafka配置目录下perties文件，broker.id=0 要变为 1,2 …… ， listeners=PLAINTEXT://0:9092所配置的 IP 也要进行相应的更改 。 5.配置环境变量 #编辑/etc/bashrc文件加入以下两行,建议添加到最后 [root@c0 ~]# vim /etc/bashrc export KAFKA_HOME /home/work/_app/kafka_2.11-2.1.1 export PATH $PATH:$KAFKA_HOME/bin 保存退出后，将环境变量文件分发到集群四台机器上,并且分别刷新环境变量。 [root@c0 ~]#for N in $(seq 1 3);do scp -r /etc/bashrc c$N:/etc/;done; [root@c0 ~]#for N in $(seq 0 3);do ssh c$N source /etc/bashrc;done; 6.kafka测试 开启启zookeeper集群 [root@c0 ~]#for N in $(seq 0 3); do ssh c$N zkServer.sh start; done; 开启卡夫卡集群 [root@c0 ~]#for N in $(seq 0 3); do ssh c$N kafka-server-start.sh -daemon /home/work/_app/kafka_2.11-2.1.1/config/perties;jps;done; 集群测试 [root@c0 ~]#kafka-topics.sh --create --zookeeper c0:2181 --replication-factor 1 -- partitions 3 --topic test-topic Created topic tes