kafka重装及代码实例连接测试

最新推荐文章于 2025-06-02 06:45:12 发布

原创最新推荐文章于 2025-06-02 06:45:12 发布 · 318 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #大数据 #zookeeper #分布式

Kafka 同时被 2 个专栏收录

3 篇文章

订阅专栏

大数据

3 篇文章

订阅专栏

本文档详述了Kafka的重装过程，包括检查Zookeeper环境、删除logs、配置设置。接着，介绍了如何重装kafka 2.11_0.11.0.0并启动服务。通过console测试，验证Producer和Consumer成功发送与接收'hello world'消息。最后，展示了Producer代码实例，证实数据已被kafka-console-consumer.sh消费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka重装及代码实例连接测试

1.重装Kaffka前确认环境

1.1确认Zookeeper是否清除干净

以下是安装前和安装后的zkCli.sh多出的信息

1.2logs是否删除

默认kafka的logs.dir配置为：/tmp/kafka-logs

1.3环境配置

需要安装jdk，Zookeeper

2.重装kafka

2.1重装kafka2.11_0.11.0.0

tar -zxvf kafka压缩包 -C 目标目录

vim config/server.properties

# 修改broker.id：每台机器唯一
broker.id=2
# 可指定端口号和主机名
port=9092
host.name=test61
# 需手动创建logs：mkdir logs
log.dirs=/opt/module/kafka_2.11/logs
# Zookeeper我配了5台，kafka也是在同机器下5台
zookeeper.connect=test55:2181,test59:2181,test61:2181,test63:2181,test64:2181

# 分发到所有目标机器后，修改config/server.properties下的broker.id
scp -r /opt/module/kafka_2.11 test55:/opt/module

2.2启动机器

# 每台机器下单点启动
kafka-server-start.sh -daemon /opt/module/kafka_2.11/config/server.properties
# jps查看是否有kafka进程

3.console测试

# 1.创建主题
kafka-topics.sh --zookeeper test55:2181 --create --topic test --partitions 2 --replication-factor 2

# 2.创建Producer
kafka-console-producer.sh --broker-list test55:9092 --topic test

# 创建Consumer
kafka-console-consumer.sh --bootstrap-server cimc59:9092 --topic test --from-beginning
# 或
kafka-console-consumer.sh  --zookeeper cimc59:2181 --topic test --from-beginning

结果：Producer生产：hello world Consumer消费：hello world

4.实例Producer测试

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

public class CustomProducer {

    public static void main(String[] args) throws Exception {
        // 1 设置配置信息
        Properties props = new Properties();
        props.put("bootstrap.servers", "test59:9092");//注意，我的windows配置了hosts
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 2 构建拦截链（这里用不着）
//        List<String> interceptors = new ArrayList<>();
//        interceptors.add("com.cimc.kafka.interceptor.TimeInterceptor"); 	interceptors.add("com.cimc.kafka.interceptor.CounterInterceptor");
//        props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, interceptors);

        String topic = "test";
        Producer<String, String> producer = new KafkaProducer<>(props);

        // 3 发送消息
        for (int i = 0; i < 10; i++) {

            ProducerRecord<String, String> record = new ProducerRecord<>(topic, "message" + i);
            producer.send(record);
        }

        // 4 一定要关闭producer，这样才会调用interceptor的close方法
        producer.close();
    }
}