rocketmq自用笔记1

一、RocketMQ 介绍

1.数据结构是队列 先进先出

2.作用：应用解耦（同步变异步）、流量削峰、数据分发（动态订阅）

3.问题：MQ宕机怎么办？如何保证高可用

MQ进行异步远程调用，消息重复消费、丢失怎么办？发送接收消息顺序怎么保证？

A发送消息、B、C消费成功，D消费失败，如何保证消息一致性？

4.灵活可扩展性、2.海量消息堆积能力、3.支持顺序消息、4.多种消息过滤方式、5.支持事务消息、6.

回溯消费等常用功能。

lib：依赖jar包，包括Netty、commons-lang、FastJSON等

测试RocketMQ

1.启动NameServer*

nohup sh bin/mqnamesrv &

2.查看启动日志*

tail -f ~/logs/rocketmqlogs/namesrv.log

# 1.启动Broker

nohup sh bin/mqbroker -n localhost:9876 &

# 2.查看启动日志

vi runserver.sh

参考设置：

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m

-XX:MaxMetaspaceSize=320m"

发送消息

# 1.设置环境变量

export NAMESRV_ADDR=localhost:9876

# 2.使用安装包的Demo发送消息

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

Topic：区分消息的种类；一个发送者可以发送消息给多个Topic；一个消息的接收者可以订阅多个Topic

消息

Message Queue：相当于是Topic的分区；用于并行发送和接收消息

三、集群搭建与特点 难点在Broker

NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。每个Broker与

NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。

Broker部署相对复杂，Broker分为Master与Slave，可以多主多从结构，主（可写可读）从读，主从之

间可以信息同步，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，

BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。

Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic

2.多Master模式,单个master宕机期间，此机器上未被消费的消息不可订阅，影响消息实时性

3.多Master多Slave模式（异步）,master宕机期间，磁盘损坏情况会丢失少量消息，消费者仍可以从

slave消费，可用性非常高

4.多Master多Slave模式（同步）常用,master宕机期间，消费者仍可以从slave消费，效率略降一点，

可用性非常高，但备用机不能自动切换成主机。



双主双从集群搭建

消息高可用采用2m-2s（同步双写）方式

1.启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相

当于一个路由控制中心

2.Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息

(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关

系。

3.收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息

时自动创建Topic。

以上ip根据你的虚拟机的实际情况配置

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是

直接关闭防火墙

或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防

火墙没有关闭的话，那么防火墙就必须开放这些端口：nameserver 默认使用 9876 端口 、master 默

认使用 10911 端口 、slave 默认使用11011 端口

source /etc/profile

mkdir /app/rocketmq-all-4.4.0-bin-release/store

mkdir /app/rocketmq-all-4.4.0-bin-release/store/commitlog

mkdir /app/rocketmq-all-4.4.0-bin-release/store/consumequeue

mkdir /app/rocketmq-all-4.4.0-bin-release/store/index

/app/rocketmq-all-4.4.0-bin-release/conf/2m-2s-sync/broker-a.properties