springboot3集成kafka

本文详细介绍了如何在Docker中安装和配置Kafka,以及如何将其与Spring框架集成,包括设置Zookeeper连接、生产者和消费者配置,以及使用`KafkaTemplate`和`KafkaListener`进行消息的生产和消费。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka安装,使用docker

基于zookeeper

拉取zookeeper

docker pull zookeeper:3.4.14
docker run -d --name zookeeper -p 2181:2181 zookeeper:3.4.14

 拉取kafka

docker pull wurstmeister/kafka:2.12-2.3.1

创建容器

使用自己虚拟机的IP,kafka端口9092

docker run -d--name kafka \
--env KAFKA_ADVERTISED_H0ST_NAME=192.168.***.*** \
--env KAFKA_Z00KEEPER_C0NNECT=192.168.***.***:2181 \
--env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.***.***9092 \
--env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
--env KAFKA_HEAP_OPTS="-Xmx256M-Xms256M" \
--net=host wurstmeister/kafka:2.12-2.3.1

使用kafka

导入Spring-kafka依赖

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
</dependency>

创建配置文件

spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      retries: 10
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: test-hello-group
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

消息生产者

@Autowired
private KafkaTemplate<String,String> kafkaTemplate;

@GetMapping("/hello")
public String hello(){
    // 第一个参数:topics
    // 第二个参数:消息内容
    kafkaTemplate.send("kafka-hello","我是骚毛他大坝");
    // 如果参数为对象使用JSON转成JSON字符串发送消息 消费者使用JSON转成对象消费消息
    return "ok";
}

消息消费者

@Component
public class HelloListener{
    
    @KafkaListener(topics={"kafka-hello"})
    public void onMessage(String message){
        if(!StringUtils.isEmpty(message)){
            System.out.println(message);
        }
    }
}

<think>好的,我现在需要帮助用户在Spring Boot项目中集成并使用Apache Kafka。首先,我得回忆一下之前学过的相关知识,确保步骤正确。用户已经提供了一些引用内容,我需要参考这些内容来组织回答。 首先,用户提到的引用[3]里提到需要在pom.xml中添加Kafka的依赖。我应该确认最新的Spring Boot版本对应的Kafka依赖版本是否正确。比如,当前Spring Boot 3.x可能使用更高版本的spring-kafka,比如3.0.0以上。不过用户示例中是2.8.0,可能需要指出根据项目版本选择合适版本。 接下来是配置Kafka的连接信息,引用[3]也提到了配置application.yml或application.properties文件。需要说明如何配置bootstrap-servers、生产者配置如key和value的序列化方式,消费者配置如group-id和反序列化方式。 然后是创建生产者和消费者,引用[2]中提到了使用KafkaTemplate发送消息,以及通过@KafkaListener注解来监听主题。需要详细说明如何定义生产者服务类,注入KafkaTemplate,并编写发送消息的方法。对于消费者,需要说明如何创建监听器方法,处理接收到的消息。 另外,可能需要提到配置类,但根据Spring Boot的自动配置,可能不需要额外的配置类,除非有自定义需求。比如分区策略、确认机制等,这些可以作为优化或高级配置提及。 用户的问题还可能涉及测试,比如如何发送和接收消息的示例,确保配置正确。可以建议用户编写测试用例或使用main方法进行测试。 还需要检查是否有遗漏的步骤,比如依赖添加后是否需要重新构建项目,配置项是否有误,以及常见的错误,比如bootstrap-servers地址错误,防火墙设置,Kafka服务器是否运行等。 最后,根据用户提供的示例,可能需要补充相关的问题,比如如何确保消息顺序、处理异常、监控Kafka性能等,作为相关问题部分。 现在需要将这些步骤结构化,分点说明,确保用户能够一步步跟随操作,并且代码示例正确无误。同时,引用正确的参考文献,比如引用[3]对应依赖配置,引用[2]对应生产者和消费者的使用。</think>在Spring Boot项目中集成并使用Apache Kafka的步骤如下: ### 一、添加依赖 在`pom.xml`中添加Spring Kafka依赖: ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>3.0.0</version> <!-- 根据Spring Boot版本选择 --> </dependency> ``` ### 二、配置Kafka连接 在`application.yml`中配置Kafka服务器地址和生产者/消费者参数: ```yaml spring: kafka: bootstrap-servers: localhost:9092 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer: group-id: my-group key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer ``` ### 三、创建消息生产者 通过`KafkaTemplate`发送消息: ```java @Service public class KafkaProducerService { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } ``` ### 四、创建消息消费者 使用`@KafkaListener`注解监听消息: ```java @Service public class KafkaConsumerService { @KafkaListener(topics = "my-topic", groupId = "my-group") public void receiveMessage(String message) { System.out.println("Received: " + message); } } ``` ### 五、测试流程 在Controller中调用生产者发送消息: ```java @RestController public class KafkaController { @Autowired private KafkaProducerService producer; @GetMapping("/send") public String send(@RequestParam String msg) { producer.sendMessage("my-topic", msg); return "Message sent: " + msg; } } ``` 启动应用后访问`http://localhost:8080/send?msg=test`,消费者控制台将输出`Received: test`[^2][^3]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值