【物联网06】centos搭建kafka集群

1.配置环境变量

#kafka enviroment
export KAFKA_HOME=/usr/local/kafka/kafka_2.11-2.1.0/
export PATH=$PATH:${KAFKA_HOME}/bin

2.配置server.properties

broker.id=1		//节点ID
log.dirs=/usr/local/kafka/log/kafka		//日志目录
num.partitions=3   		//分区数

3.启动zookeeper集群

zkServer.sh start

4.启动kafka集群

bin/kafka-server-start.sh config/server.properties &	//"&"表示以后台方式启动kafka

5.创建topic

bin/kafka-topics.sh --create --zookeeper zoo-1:2181,zoo-2:2181,zoo-3:2181 --replication-factor 3 --partitions 3 --topic test

查看topic

bin/kafka-topics.sh --describe --zookeeper zoo-1:2181, zoo-2:2181,  zoo-3:2181 --topic test

列出topic

bin/kafka-topics.sh --list --zookeeper zoo-1:2181, zoo-2:2181,zoo-3:2181
test

6.创建生产者(在Leader节点)

bin/kafka-console-producer.sh --broker-list zoo-2:9092 -topic test

7.创建消费者（在其他两个follower节点）

 bin/kafka-console-consumer.sh --bootstrap-server zoo-1:9092,zoo-2:9092,zoo-3:9092 --topic test --from-beginning

接下来在生产者输入消息，会在消费者显示，表示消费成功。

8.删除topic

bin/kafka-topics.sh --delete --zookeeper zoo-1:2181, zoo-2:2181, zoo-3:2181 --topic test

9.关闭kafka

bin/kafka-server-stop.sh