kafka安装

安装jdk
下载jdk1.8并解压
然后移动到目录/usr/local/jdk1.8.0
在/etc/profile 下面添加下面内容:
export JAVA_HOME=/usr/local/jdk1.8.0
export JAVA_BIN=$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
执行下面命令(生效):
source /etc/profile 

下载kafka
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz
解压:tar zxf kafka_2.12-2.7.0.tgz

移动文件
mv kafka_2.12-2.7.0 /home/hadoop/kafka

更改配置文件:
zookeeper.properties和server.properties

我这边已经配置好了!直接传上去就行了!
先启动Zookeeper!再启动kafka
以前配置过,有历史记录!

启动Zookeeper
/home/hadoop/kafka/bin/zookeeper-server-start.sh -daemon /home/hadoop/kafka/config/zookeeper.properties
 
 关闭Zookeeper
/home/hadoop/kafka/bin/zookeeper-server-stop.sh -daemon /home/hadoop/kafka/config/zookeeper.properties

启动kafka
/home/hadoop/kafka/bin/kafka-server-start.sh -daemon /home/hadoop/kafka/config/server.properties

停止kafka
/home/hadoop/kafka/bin/kafka-server-stop.sh /home/hadoop/kafka/config/server.properties

创建并查看topic
/home/hadoop/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
/home/hadoop/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

发送消息
/home/hadoop/kafka/bin/kafka-console-producer.sh --broker-list localhost:59092 --topic canal_topic

接收消息
/home/hadoop/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:59092 --topic canal_topic --from-beginning

查看topic&删除topic
/home/hadoop/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test

/home/hadoop/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test


topic图形化工具下载地址:
https://www.kafkatool.com/download.html

### 安装和配置Apache Kafka 在Windows上安装和配置Apache Kafka的过程可以分为几个部分。以下是详细的说明: #### 下载Apache Kafka 可以从Apache Kafka的官方网站下载最新版本的二进制发行版[^1]。 ```bash wget https://downloads.apache.org/kafka/<version>/kafka_<scala-version>-<version>.tgz ``` 解压文件并进入目录: ```bash tar -xzf kafka_<scala-version>-<version>.tgz cd kafka_<scala-version>-<version> ``` #### 配置环境变量 为了方便运行Kafka命令,建议将Kafka的`bin`目录添加到系统的PATH环境中。可以通过编辑`.bashrc`或其他shell初始化脚本来完成此操作: ```bash export PATH=<path-to-kafka-bin>:$PATH source ~/.bashrc ``` #### 启动Zookeeper服务 Kafka依赖于Zookeeper来协调集群中的节点。启动Zookeeper服务前,请确保已正确安装Java JDK,并设置JAVA_HOME环境变量。 ```bash bin/zookeeper-server-start.sh config/zookeeper.properties ``` #### 启动Kafka Broker 接着启动Kafka broker服务: ```bash bin/kafka-server-start.sh config/server.properties ``` 此时,Kafka应该已经成功运行在一个本地单机模式下。 #### 使用UI for Apache Kafka简化管理 对于更复杂的生产环境或者需要可视化管理的情况,可以考虑使用专门设计用于管理和监控Kafka集群的工具,比如UI for Apache Kafka[^2]。这类工具有助于提升效率以及降低人为错误的风险。 ```python import subprocess def start_kafka(): try: zookeeper_process = subprocess.Popen(['bin/zookeeper-server-start.sh', 'config/zookeeper.properties']) kafka_broker_process = subprocess.Popen(['bin/kafka-server-start.sh', 'config/server.properties']) # Wait indefinitely or implement a timeout mechanism as needed. zookeeper_process.wait() kafka_broker_process.wait() except Exception as e: print(f"Error starting Kafka services: {e}") start_kafka() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值