Kafka消息染色

在 Kafka 中实现 流量标记 并 指定对应的消费组，通常用于以下场景：

• 流量隔离：将不同业务或环境的流量路由到不同的消费组。

• 灰度发布：让部分消费者优先消费特定标记的消息。

• 多租户隔离：不同租户使用独立的消费组。

方案 1：通过消息 Header 标记流量 + 动态消费组

1. 生产者：标记消息

在消息的 Header 中添加流量标记（如 traffic-tag=gray）：

import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.KafkaHeaders;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.MessageBuilder;

public class KafkaProducer {
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String topic, String payload, String trafficTag) {
        Message<String> message = MessageBuilder.withPayload(payload)
            .setHeader("traffic-tag", trafficTag)  // 设置流量标记
            .build();
        kafkaTemplate.send(message);
    }
}

2. 消费者：动态选择消费组

根据 Header 中的 traffic-tag 动态选择消费组：

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.messaging.handler.annotation.Header;
import org.springframework.stereotype.Component;

@Component
public class KafkaConsumer {

    // 消费正式流量（默认消费组）
    @KafkaListener(
        topics = "your-topic",
        groupId = "prod-group"  // 正式环境消费组
    )
    public void listenProd(
        String message,
        @Header(value = "traffic-tag", required = false) String trafficTag
    ) {
        if ("gray".equals(trafficTag)) {
            return; // 跳过灰度流量
        }
        System.out.println("[正式流量] " + message);
    }

    // 消费灰度流量（独立消费组）
    @KafkaListener(
        topics = "your-topic",
        groupId = "gray-group",  // 灰度环境消费组
        condition = "headers['traffic-tag'] == 'gray'"  // 仅消费灰度标记的消息
    )
    public void listenGray(String message) {
        System.out.println("[灰度流量] " + message);
    }
}

方案 2：通过 Topic 隔离流量

1. 生产者：发送到不同 Topic

public class KafkaProducer {
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String payload, boolean isGray) {
        String topic = isGray ? "gray-topic" : "prod-topic";
        kafkaTemplate.send(topic, payload);
    }
}

2. 消费者：监听不同 Topic

@Component
public class KafkaConsumer {

    @KafkaListener(topics = "prod-topic", groupId = "prod-group")
    public void listenProd(String message) {
        System.out.println("[正式流量] " + message);
    }

    @KafkaListener(topics = "gray-topic", groupId = "gray-group")
    public void listenGray(String message) {
        System.out.println("[灰度流量] " + message);
    }
}

方案 3：动态消费组（Spring Cloud Stream）

如果使用 Spring Cloud Stream + Kafka，可以动态绑定消费组：

1. 配置 application.yml

spring:
  cloud:
    stream:
      bindings:
        input:
          destination: your-topic
          group: ${spring.kafka.consumer.group-id}  # 从环境变量读取消费组
      kafka:
        binder:
          brokers: localhost:9092

2. 启动时指定消费组

java -jar app.jar --spring.kafka.consumer.group-id=gray-group

方案 4：Kafka 原生 Consumer API 手动控制

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "dynamic-group-" + trafficTag);  // 动态消费组
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("your-topic"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        String trafficTag = record.headers().headers("traffic-tag").iterator().next().value();
        if ("gray".equals(trafficTag)) {
            System.out.println("[灰度流量] " + record.value());
        } else {
            System.out.println("[正式流量] " + record.value());
        }
    }
}

对比总结

最佳实践建议

1. 灰度发布 → 方案 1（Header 标记 + 条件消费）

2. 多租户隔离 → 方案 2（不同 Topic）

3. 环境隔离（Dev/Test/Prod） → 方案 3（动态消费组）

4. 完全自定义需求 → 方案 4（Kafka 原生 API）

根据业务需求选择合适的方案！