揭秘RocketMQ配置分层策略，超实用！_rocketmq的 topic, tag, consumer-group到底应该如何设置-CSDN博客

本文链接：https://blog.csdn.net/m290345792/article/details/148907729

本文在创作过程中借助 AI 工具辅助资料整理与内容优化。图片来源网络。

在这里插入图片描述

文章目录

引言
一、RocketMQ 简介
- 1.1 什么是 RocketMQ
- 1.2 RocketMQ 的核心组件
二、RocketMQ 配置分层策略
三、场景化落地实践
总结

引言

大家好，我是沛哥儿。
“工欲善其事，必先利其器。”。在当今的技术领域，消息队列作为现代软件架构中的核心组件，对于系统的稳定运行起着至关重要的作用。就好比一场精彩的演出，消息队列就是那幕后的调度师，协调着各个环节，让整个系统能够有序运转。今天，咱就来深入聊聊 RocketMQ 消息队列的配置分层策略，这可是提升系统性能、可靠性和可扩展性的一把利器。

一、RocketMQ 简介

1.1 什么是 RocketMQ

RocketMQ 是阿里巴巴开源的一款高性能、低延迟的分布式消息中间件。它就像是一个高效的快递中转站，负责在不同的系统组件之间传递消息。具有高吞吐量、高可用性、高可靠性等特点，非常适合大规模分布式系统中的消息传递和事件驱动场景。

在这里插入图片描述

1.2 RocketMQ 的核心组件

RocketMQ 主要包含以下几个核心组件，它们就像是一个团队中的不同成员，各自发挥着重要的作用。

NameServer：负责消息路由信息的存储和管理，就像一个地图导航员，提供路由信息查询服务，帮助消息找到正确的传递路径。
Broker：负责消息的存储、投递和查询，以及与生产者和消费者的交互，类似于快递仓库和快递员的结合体。
Producer：消息生产者，负责发送消息到 Broker，就像寄件人，把需要传递的消息发送出去。
Consumer：消息消费者，负责从 Broker 拉取消息并进行处理，如同收件人，接收并处理收到的消息。

下面是一个展示 RocketMQ 核心组件关系的 mermaid 流程图：

二、RocketMQ 配置分层策略

在这里插入图片描述

2.1 Topic 配置分层

Topic 是 RocketMQ 中最基本的单位，用于区分不同类型的消息。就像不同的快递包裹分类，不同类型的消息会被放到不同的 Topic 中。在 RocketMQ 中，Topic 配置可以分为以下几个层级：

high - priority：存放通知类消息（如验证码），设置单分区 + 同步刷盘保障可靠性。这就好比重要文件，要确保万无一失，采用最安全的存储方式。
marketing：存放营销类消息，采用多分区 + 异步刷盘提升吞吐量。就像普通商品快递，追求的是快速处理。

在实际场景中，可以根据业务需求对 Topic 进行分层配置，以提高系统的性能和可靠性。
例如，在电商平台中，订单处理、支付通知等高优先级消息放入 high-priority Topic，营销类消息放入 marketing Topic。

以下是一个简单的 Java 代码示例，展示如何创建一个 Topic：

import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.topic.TopicConfig;
import org.apache.rocketmq.remoting.exception.RemotingException;

public class TopicCreationExample {
    public static void main(String[] args) {
        // 创建一个默认的生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("producer_group");
        // 设置 NameServer 地址
        producer.setNamesrvAddr("localhost:9876");

        try {
            // 启动生产者
            producer.start();
            // 创建一个 Topic 配置实例
            TopicConfig topicConfig = new TopicConfig("high-priority");
            // 设置分区数量
            topicConfig.setReadQueueNums(1);
            topicConfig.setWriteQueueNums(1);
            // 发送创建 Topic 的请求
            producer.createTopic("DefaultCluster", topicConfig.getTopicName(), topicConfig.getReadQueueNums());
            System.out.println("Topic created successfully");
        } catch (MQClientException | RemotingException | InterruptedException e) {
            e.printStackTrace();
        } finally {
            // 关闭生产者
            producer.shutdown();
        }
    }
}

2.2 Partition 配置分层

Partition 是 Topic 的子单位，用于实现消息的并行处理。就像快递包裹的不同处理流水线，不同的 Partition 可以同时处理不同的消息。在 RocketMQ 中，Partition 配置可以分为以下几个层级：

高优先级 Partition：用于存放高优先级的消息，如系统通知、订单处理等，设置较高的读写权限和同步刷盘，确保消息的实时性和可靠性。这就像 VIP 通道，优先处理重要的快递。
普通 Partition：用于存放普通业务消息，如日志、统计信息等，设置较低的读写权限和异步刷盘，以提高消息的处理速度。就像普通通道，处理量大但不要求实时性的包裹。

在实际场景中，可以根据业务需求对 Partition 进行分层配置，以提高系统的吞吐量和响应速度。

下面是一个展示 Partition 分层的类图：

2.3 消息配置分层

消息是 RocketMQ 中的最小单位，用于传递信息。在 RocketMQ 中，消息配置可以分为以下几个层级：

重要消息：如订单信息、支付信息等，设置较高的消息优先级，确保消息的实时性和可靠性。这就像紧急文件，必须第一时间处理。
普通消息：如日志、统计信息等，设置较低的消息优先级，以提高消息的处理速度。就像日常报表，不要求立即处理。

在实际场景中，可以根据业务需求对消息进行分层配置，以提高系统的性能和可靠性。

三、场景化落地实践

3.1 电商平台

在电商平台中，订单处理、支付通知等高优先级消息放入 high-priority Topic，并设置单分区 + 同步刷盘，确保消息的实时性和可靠性；将营销类消息放入 marketing Topic，采用多分区 + 异步刷盘，提高消息的处理速度。

以下是一个简单的 Python 代码示例，展示如何向不同 Topic 发送消息：

from rocketmq.client import Producer, Message

# 创建一个生产者实例
producer = Producer('producer_group')
# 设置 NameServer 地址
producer.set_namesrv_addr('localhost:9876')
# 启动生产者
producer.start()

# 发送高优先级消息
msg = Message('high-priority')
msg.set_body('Order payment notification'.encode('utf-8'))
ret = producer.send_sync(msg)
print(ret)

# 发送营销类消息
msg = Message('marketing')
msg.set_body('New promotion available'.encode('utf-8'))
ret = producer.send_sync(msg)
print(ret)

# 关闭生产者
producer.shutdown()