Dledger模式rocketMq高可用集群

已于 2023-08-10 09:49:21 修改
阅读量515 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 云原生 中间件 rocketmq
于 2023-08-10 00:09:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/comezhouyi/article/details/132200169
本文介绍使用docker-compose搭建Dledger模式RocketMQ高可用集群。包含资源清单、初始化文件目录、创建各节点相关配置及docker-compose文件，启动容器后进行验证，通过浏览器访问特定地址查看创建情况，还能看到节点状态，如node0 broker-n2下线，node1 broker-n2成master。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

docker-compose搭建Dledger模式rocketMq高可用集群

资源清单

机器ip基础设施name-serverbroker0 idbroker1 idbroker2 iddashboard
node0192.168.1.81centos7、docker_20.10.18、docker-compose_2.10.2存在021-
node1192.168.1.123centos7、docker_20.10.18、docker-compose_2.10.2存在102-
node2192.168.1.172centos7、docker_20.10.18、docker-compose_2.10.2存在210存在

初始化文件目录

# 所有机器

# 创建rocket目录
mkdir -p /home/docker/rocketMq
cd /home/docker/rocketMq

# 创建rocket存储、日志、配置目录
mkdir -p /home/docker/rocketMq/data/broker-n{0..2}/store
mkdir -p /home/docker/rocketMq/data/broker-n{0..2}/conf
mkdir -p /home/docker/rocketMq/data/broker-n{0..2}/logs
mkdir -p /home/docker/rocketMq/data/broker-n{0..2}/commitlog

创建配置

node0相关配置

broker-n0
vi /home/docker/rocketMq/data/broker-n0/conf/broker.properties

# broker名，名称一样的节点就是一组主从节点。
brokerName=broker0
# broker对外服务的监听端口
listenPort=30911
# 所属集群名，名称一样的节点就在同一个集群内
brokerClusterName=DefaultCluster
# brokerid，0就表示是Master，>0的都是表示Slave
brokerId=0
# 删除文件时间点，默认凌晨4点
deleteWhen=04
# 文件保留时间，默认48 小时
fileReservedTime=48
# broker角色，ASYNC_MASTER异步复制Master，SYNC_MASTER同步双写Master，SLAVE
brokerRole=ASYNC_MASTER
# 刷盘方式，ASYNC_FLUSH异步刷盘，SYNC_FLUSH同步刷盘
flushDiskType=ASYNC_FLUSH
# broker ip多网卡配置，容器配置宿主机网卡ip
brokerIP1=192.168.1.81
# name-server地址，分号间隔
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
# 存储路径
storePathRootDir=/home/rocketmq/store
# commitLog存储路径
storePathCommitLog=/home/rocketmq/commitlog
# 是否允许broker自动创建Topic
autoCreateTopicEnable=true
# 是否允许broker自动创建订阅组
autoCreateSubscriptionGroup=true
# 是否启动DLedger
enableDLegerCommitLog=true
# DLedger Raft Group的名字，建议和brokerName保持一致
dLegerGroup=broker0
# DLedger Group内各节点的端口信息，同一个Group内的各个节点配置必须要保证一致
dLegerPeers=n0-192.168.1.81:40911;n1-192.168.1.123:40911;n2-192.168.1.172:40911
# 节点id, 必须属于dLegerPeers中的一个；同Group内各个节点要唯一
dLegerSelfId=n0
broker-n1
vi /home/docker/rocketMq/data/broker-n1/conf/broker.properties

brokerName=broker1
listenPort=30912
brokerClusterName=DefaultCluster
brokerId=2
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.81
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker1
dLegerPeers=n0-192.168.1.81:40912;n1-192.168.1.123:40912;n2-192.168.1.172:40912
dLegerSelfId=n0
broker-n2
vi /home/docker/rocketMq/data/broker-n2/conf/broker.properties

brokerName=broker2
listenPort=30913
brokerClusterName=DefaultCluster
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.81
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker2
dLegerPeers=n0-192.168.1.81:40913;n1-192.168.1.123:40913;n2-192.168.1.172:40913
dLegerSelfId=n0
docker-compose
vi /home/docker/rocketMq/docker-compose.yaml

version: '3'
services:

  namesrv:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: namesrv 
    ports:
      - 9876:9876
    environment:
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/namesrv/logs:/home/rocketmq/logs/rocketmqlogs/rocketmqlogs
    command: sh mqnamesrv

  broker-n0:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n0
    ports:
      - 30911:30911
      - 40911:40911
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n0/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n0/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n0/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n0/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  broker-n1:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n1
    ports:
      - 30912:30912
      - 40912:40912
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n1/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n1/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n1/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n1/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  broker-n2:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n2
    ports: 
      - 30913:30913
      - 40913:40913
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n2/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n2/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n2/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n2/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

node1相关配置

broker-n0
vi /home/docker/rocketMq/data/broker-n0/conf/broker.properties

brokerName=broker0
listenPort=30911
brokerClusterName=DefaultCluster
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.123
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker0
dLegerPeers=n0-192.168.1.81:40911;n1-192.168.1.123:40911;n2-192.168.1.172:40911
dLegerSelfId=n1
broker-n1
vi /home/docker/rocketMq/data/broker-n1/conf/broker.properties

brokerName=broker1
listenPort=30912
brokerClusterName=DefaultCluster
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.123
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker1
dLegerPeers=n0-192.168.1.81:40912;n1-192.168.1.123:40912;n2-192.168.1.172:40912
dLegerSelfId=n1
broker-n2
vi /home/docker/rocketMq/data/broker-n2/conf/broker.properties

brokerName=broker2
listenPort=30913
brokerClusterName=DefaultCluster
brokerId=2
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.123
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker2
dLegerPeers=n0-192.168.1.81:40913;n1-192.168.1.123:40913;n2-192.168.1.172:40913
dLegerSelfId=n1
docker-compose
vi /home/docker/rocketMq/docker-compose.yaml

version: '3'
services:

  namesrv:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: namesrv 
    ports:
      - 9876:9876
    environment:
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/namesrv/logs:/home/rocketmq/logs/rocketmqlogs
    command: sh mqnamesrv

  broker-n0:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n0
    ports:
      - 30911:30911
      - 40911:40911
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n0/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n0/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n0/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n0/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  broker-n1:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n1
    ports:
      - 30912:30912
      - 40912:40912
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n1/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n1/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n1/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n1/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  broker-n2:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n2
    ports: 
      - 30913:30913
      - 40913:40913
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n2/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n2/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n2/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n2/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

node2相关配置

broker-n0
vi /home/docker/rocketMq/data/broker-n0/conf/broker.properties

brokerName=broker0
listenPort=30911
brokerClusterName=DefaultCluster
brokerId=2
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.172
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker0
dLegerPeers=n0-192.168.1.81:40911;n1-192.168.1.123:40911;n2-192.168.1.172:40911
dLegerSelfId=n2
broker-n1
vi /home/docker/rocketMq/data/broker-n1/conf/broker.properties

brokerName=broker1
listenPort=30912
brokerClusterName=DefaultCluster
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.172
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker1
dLegerPeers=n0-192.168.1.81:40912;n1-192.168.1.123:40912;n2-192.168.1.172:40912
dLegerSelfId=n2
broker-n2
vi /home/docker/rocketMq/data/broker-n2/conf/broker.properties

brokerName=broker2
listenPort=30913
brokerClusterName=DefaultCluster
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP1=192.168.1.172
namesrvAddr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
storePathRootDir=/home/rocketmq/store
storePathCommitLog=/home/rocketmq/commitlog
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
enableDLegerCommitLog=true
dLegerGroup=broker2
dLegerPeers=n0-192.168.1.81:40913;n1-192.168.1.123:40913;n2-192.168.1.172:40913
dLegerSelfId=n2
docker-compose
vi /home/docker/rocketMq/docker-compose.yaml

version: '3'
services:

  namesrv:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: namesrv 
    ports:
      - 9876:9876
    environment:
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/namesrv/logs:/home/rocketmq/logs/rocketmqlogs
    command: sh mqnamesrv

  broker-n0:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n0
    ports:
      - 30911:30911
      - 40911:40911
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n0/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n0/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n0/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n0/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  broker-n1:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n1
    ports:
      - 30912:30912
      - 40912:40912
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n1/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n1/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n1/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n1/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  broker-n2:
    restart: always
    image: apache/rocketmq:5.1.3
    container_name: broker-n2
    ports: 
      - 30913:30913
      - 40913:40913
    environment:
      - NAMESRV_ADDR=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876
      - JAVA_OPT_EXT=-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn256m
      - TZ=Asia/Shanghai
    volumes:
      - /home/docker/rocketMq/data/broker-n2/logs:/home/rocketmq/logs/rocketmqlogs
      - /home/docker/rocketMq/data/broker-n2/store:/home/rocketmq/store
      - /home/docker/rocketMq/data/broker-n2/commitlog:/home/rocketmq/commitlog
      - /home/docker/rocketMq/data/broker-n2/conf/broker.properties:/home/rocketmq/conf/broker.properties
    command: sh mqbroker -c /home/rocketmq/conf/broker.properties

  console:
    restart: always
    image: apacherocketmq/rocketmq-dashboard
    container_name: console
    ports:
      - 19081:8080
    environment:
        TZ: "Asia/Shanghai"
        JAVA_OPTS: "-Drocketmq.namesrv.addr=192.168.1.81:9876;192.168.1.123:9876;192.168.1.172:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
    depends_on:
      - namesrv

启动容器

# 所有机器

cd /home/docker/rocketMq
# 切记修改权限
chmod -R 777 ./data
docker compose up -d

验证

验证是否创建成功

浏览器访问192.168.1.172:19081
集群启动成功

验证dledger
# 找到任意broker master所在宿主机
# 停调该broker master，这里以node0 broker-n2为例
docker compose stop broker-n2

master选举成功
可以看到node0 broker-n2已下线，node1 broker-n2已成为master

tokily
关注
Dledger部署RocketMQ高可用集群（9节点集群）
我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。
02-27 1088
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
RocketMQ 高可用集群部署教程
新质程序猿
10-18 1209
Apache RocketMQ 自诞生以来，因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨，RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。上面是摘抄的官网，知道 RocketMQ 是当前很流行的消息队列中间件即可，本文主要介绍其安装过程。安装一般系统搭建的套路都差不多主机准备及主机规划主机配置，依赖安装软件下载，路径规划软件配置及检查。
RocketMQ Dledger 模式集群搭建
m0_49962289的博客
03-17 8034
Deledger 集群模式是多副本模式，每个Master配置二个 Slave 组成 Dledger Group，可以有多个 Dledger Group，由 Dledger 实现 Master 选举，具体定义的时候核心在于ID。 考虑到可维护性的特点，本次Broker集群采用的是DLeger多副本模式，这样就需要用过Broker配置文件的方式定义每一个DLegerGroup，再每一个DLegerGroup 中必须存在有三个Broker节点，这样就需要为每一个节点设置一个ID标记，并且通过此标记来绑定与之相关
RocketMQ集群高级特性
最新发布
weixin_58611042的博客
06-12 645
RocketMQ提供的Dledger虽然确实增加了集群的高可用，但是他是把集群选举和同步日志都一起完成的。当有多数节点共同保存了 Entry 后，就可以执行 Entry 中的客户端执行，提交到State Machine 状态机中。在一个Server集群中，数据写入到Server集群中的一个节点，然后希望从集群中任何一个节点都能读到写入的数据，这种问题就称为分布式数据一致性问题。注意，是保证Entry顺序一致，而不是保证Entry不丢失（但是主节点有的从节点也会有，丢失是发生在主节点上的），这是两个概念。
RocketMQ--Dledger集群搭建
L2111533547的博客
07-01 5154
引言：一直以来，在多地多中心的消息发送场景下，如何保障数据的完整性和一致性是一个技术难点。Dledger 作为一个轻量级的 Java Library，它的作用就是将 Raft 有关于算法方面的内容全部抽象掉，开发人员只需要关心业务即可在 RocketMQ 4.5 版本之前，RocketMQ 只有 Master/Slave 一种部署方式，一组 broker 中有一个 Master ，有零到多个 Slave，Slave 通过同步复制或异步复制的方式去同步 Master 数据。Master/Slave 部署模式，
RocketMQ的组织架构和基本概念，Dledger高可用集群架构原理
qq_1149513559的博客
02-09 2339
文章目录1. MQ产品介绍2. rocketMQ组织架构①：NameServer②：Broker③：Producer**④：Consumer 1. MQ产品介绍          1.1 什么是MQ？为什么要用MQ？         MQ：MessageQueue，消息队列。 队列，是一种FIFO 先进先出的数据结构。消息由生产者发送到MQ进行排
rocketmq-5.1.2的dleger高可用集群部署
m0_64295612的博客
06-12 1498
原先为5.0.0版本，因检查出有漏洞，升级到5.1.2版本。【Rocketmq是阿里巴巴在2012年开发的分布式消息中间件，专为万亿级超大规模的消息处理而设计，具有高吞吐量、低延迟、海量堆积、顺序收发等特点。在一定条件下，存在远程命令执行风险。攻击者可以利用该漏洞利用更新配置功能以RocketMQ运行的系统用户身份执行命令。
基于DLedger构建高可用RocketMQ集群实践.pdf
10-16
在DLedger模式下，RocketMQ集群能够自动切换到备用节点，确保消息队列服务的高可用性。 4. 搭建RocketMQ on Dledger集群： 文档中详细介绍了如何搭建RocketMQ on Dledger集群，包括DLedger的安装、配置和启动等步骤...
基于DLedger构建高可用RocketMQ集群实践.pptx
10-16
在本实践分享中，我们主要关注如何基于 DLedger 架构来增强 RocketMQ 的高可用性，以及在实际部署过程中的关键技术和优化策略。 首先，让我们回顾一下 RocketMQ 多副本架构的演进。最初，RocketMQ 使用 Zookeeper ...
五、RocketMq本地集群搭建：Dledger方式
java coding girl
09-02 516
此处只用作本地模拟集群，只用一个rocketmq。启动三个broker。
第三章 搭建RocketMQ （Deldger集群）
yaw的博客
04-15 4151
第三章 搭建RocketMQ （Deldger集群）
RocketMQ-Dledger高可用集群，为什么是高可用？
12-16 1215
Dledger高可用集群，为什么说是高可用的？一文简要说明和如何搭建服务。
Dledger-RocketMQ 基于Raft协议的commitlog存储库
java开发郭靖
02-27 2236
1.2 Master/Slave 多副本最早的是Master/Slave架构，即简单地用Slave去同步Master的数据，RocketMQ最早也是这种实现。分为同步模式（Sync Mode）和异步模式（Async Mode），区别就是Master是否等数据同步到Slave之后再返回Client。这两种方式目前在RocketMQ社区广泛使用的版本中都有支持，原理图如下图1所示。 图1 Maste...
RocketMQ-Dledger高可用集群搭建
qq_22937623的博客
06-26 3122
RocketMQ-Dledger集群搭建
RocketMQ系列：docker搭建rocketmq的dledger模式集群（全网独家）
公众号-测试生财
09-28 1705
接上文：docker-compose搭建rocketmq集群环境 本文介绍如何使用play-docker-dledger.sh搭建rocketmq的集群环境 1 清理环境 这里需要删除刚才docker-compose创建的docker的bridge网络，否则会报错：Error response from daemon: Pool overlaps with other one on this address spa 1.1 查看docker网络 docker network ls 1..
SpringBoot+RocketMQ集群(dledger)部署完整学习笔记
aCheng的博客
01-05 1712
RocketMQ集群方式有好几种官网地址2m-2s-async：2主2从异步刷盘(吞吐量较大，但是消息可能丢失2m-2s-sync：2主2从同步刷盘(吞吐量会下降，但是消息更安全)2m-noslave ：2主无从(单点故障)，然后还可以直接配置broker.conf，进行单点环境配置dledger：用来实现主从切换的。集群中的节点会基于Raft协议随机选举出一个leader，其他的就都是follower。通常正式环境都会采用这种方式来搭建集群。dledger搭建参考文档。
全站最硬核 百万字强肝RocketMq源码 火热更新中~（七十九） DLeger
自救 唯有自强
01-29 1190
DLedger 应用场景 DLedger 其中一个应用就是在分布式消息系统中，RocketMQ 4.5 版本发布后，可以采用 RocketMQ on DLedger 方式进行部署。DLedger commitlog 代替了原来的 commitlog，使得 commitlog 拥有了选举复制能力，然后通过角色透传的方式，raft 角色透传给外部 broker 角色，leader 对应原来的 master，follower 和 candidate 对应原来的 slave。 因此 RocketMQ 的 br.
RocketMQ 4.7.1 基于Dledger部署容灾集群和组扩展
VincentQB的博客
07-27 1505
简单说明： RocketMQ 在4.5版本之后可以基于Dledger部署自动容灾切换的RocketMQ集群 本博文检录集群部署和组扩展过程，包括2个NameServer实例和两组3实例的BrokerServer组 集群主机列表： IP 主机名 集群角色 资源 系统版本 -------------- ------ --------- ----- ------- 192.168.77.101 vm1 ns1 bs11 2U/4G CentOS6 19
RocketMQ Dledger 多个group模式集群搭建+管理端
weixin_43924444的博客
04-27 3405
    Deledger 集群模式是多副本模式，每个Master配置二个 Slave 组成 Dledger Group，可以有多个 Dledger Group，由 Dledger 实现 Master 选举，具体定义的时候核心在于ID。     考虑到可维护性的特点，本次Broker集群采用的是DLeger多副本模式，这样就需要用过Broker配置文件的方式定义每一个DLeg...
rocketmq DLedger
01-07
### RocketMQ与DLedger集成概述 RocketMQ支持通过DLedger协议来增强其高可用性和数据一致性。DLedger是一种分布式账本技术，能够提供强一致性的日志复制功能[^1]。 ### 配置环境准备 为了使RocketMQ集群利用DLedger特性，需先安装并配置好Java运行环境以及下载对应版本的RocketMQ二进制包。解压后进入`bin`目录执行命令启动NameServer服务： ```bash nohup sh mqnamesrv & ``` 对于Broker节点，则要修改`conf/broker.conf`文件中的相关参数以启用DLedger模式，并指定相应的Group ID、Peers列表等信息[^4]。 ### 修改Broker配置文件 编辑`broker.conf`时应加入如下几行设置用于开启DLedger功能： ```properties enableDLegerCommitLog=true dledgerGroup=group_name dledgerSelfId=broke_id dledgerPeerList=peer1:port,peer2:port,... ``` 其中`enableDLegerCommitLog`选项用来激活DLedger提交日志；而`dledgerGroup`, `dledgerSelfId`和`dledgerPeerList`分别定义了当前Broker所属组名、自身ID及其余成员地址。 ### 启动Broker实例 完成上述更改之后保存退出，在终端输入以下指令即可让Broker按照新的设定正常运作起来： ```bash nohup sh mqbroker -n localhost:9876 & ``` 此时该Broker将会自动尝试连接到其他已知的DLedger Group内的伙伴来进行同步操作[^3]。 ### 数据存储优化建议 考虑到性能因素，推荐采用内存映射的方式处理Commit Log从而提高写入效率。这不仅依赖于操作系统层面的支持还需要合理调整JVM堆外内存大小及其他关联属性确保最佳实践效果[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值