目录
1.2开启RabbitMQ的 publisher confirm机制,实现生产者确认
1.3编写消息生产者端的回调函数 ReturnCallback ,处理交换机发送信息到队列信息丢失问题
1.4编写消息生产者端的回调函数,实现 ConfirmCallback,处理信息发送到到交换机的途中数据丢失
前言:
在进行RabbitMQ的高级特性讲解之前,先了解一些MQ的一些常见问题:
- 消息可靠性问题:如何确保发送的消息至少被消费一次
- 延迟消息问题:如何实现消息的延迟投递
- 消息堆积问题:如何解决数百万消息堆积,无法及时消费的问题
- 高可用问题:如何避免单点的MQ故障而导致的不可用问题
而这些问题会统统在本篇目进行解决,客观往下看~
一、信息可靠性
1.1导致信息丢失的可能性
上图是我们通过RabbitMQ发送信息的流程图,而在这个过程中,消息从从生产者(publisher)发送到exchange,再到queue,再到消费者(consumer),将会在以下阶段产生信息丢失的可能:
- 发送时丢失:
- 生产者发送的消息未送达exchange
- 消息到达exchange后未到达queue
- MQ宕机,queue将消息丢失,无法发送到consumer
- consumer接收到消息后未消费就宕机
而为了避免消息发送到MQ过程中丢失,也就是消息无法成功到达信息队列的问题,RabbitMQ提供了publisher confirm机制:
消息发送到MQ以后,会返回一个结果给发送者,表示消息是否处理成功。结果有两种请求:
- publisher-confirm,发送者确认
- 消息成功投递到交换机,返回ack
- 消息未投递到交换机,返回nack
- publisher-return,发送者回执
- 消息投递到交换机了,但是没有路由到队列。返回ACK,及路由失败原因。
图例:
所以,我们可以开启RabbitMQ提供的publisher confirm机制,当信息发送后,如果在上面的两个阶段(一个没有到达交换机,一个没有到达队列)发生了信息丢失,我们就能拿到不同的回执数据,以及对应的错误原因,我们可以根据错误原因,看是否需要信息重发或者将信息丢弃等其他处理
1.2开启RabbitMQ的 publisher confirm机制,实现生产者确认
首先我们需要在publisher这个微服务里面的application.yml文件添加配置以开启:
spring:
rabbitmq:
host: 192.168.8.129 # rabbitMQ的ip地址
port: 5672 # 端口
username: rabbitmq
password: 123456
virtual-host: /
publisher-confirm-type: correlated #配置生产者的确认类型
publisher-returns: true #开启publisher-return机制
template:
mandatory: true #开启ReturnCallBack,获得当数据从交换机发送的队列发生错误的信息
配置说明:
- publish-confirm-type:开启publisher-confirm,这里支持两种类型:
- simple:同步等待confirm结果,直到超时
- correlated:异步回调,定义ConfirmCallback,MQ返回结果时会回调这个ConfirmCallback
- publish-returns:开启publish-return功能,同样是基于callback机制,不过是定义ReturnCallbac
- ltemplate.mandatory:定义消息路由失败时的策略。true,则调用ReturnCallback;false:则直接丢弃消息
1.3编写消息生产者端的回调函数 ReturnCallback ,处理交换机发送信息到队列信息丢失问题
注意:
每个RabbitTemplate只能配置一个ReturnCallback,而RabbitTemplate是由spring容器创建并进行管理的,所以,我们需要在项目启动时配置成唯一的,这里我继承了
ApplicationContextAware 的接口,当项目启动后,就会调用继承该接口的方法类,同时重写了接口中setApplicationContext的方法(必须重写),指定了RabbitTemplat对象的ReturnCallBack方法的处理逻辑(这里,我多进行了一步是否为延迟信息判断的处理,大家不需要可以直接删除)。
,代码如下:
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.context.annotation.Configuration;
@Configuration
@Slf4j
public class CommonConfig implements ApplicationContextAware {
/**
* RabbitTemplate只能配置一个ReturnCallback,因此需要在项目启动过程中配置
*
* @param applicationContext Bean容器
* @throws BeansException 获取bean失败抛出异常
*/
@Override
public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
//获取applicationContext对象
RabbitTemplate rabbitTemplate = applicationContext.getBean(RabbitTemplate.class);
//配置 ReturnCallBack
rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
//判断是否为延迟信息
if(message.getMessageProperties().getReceivedDelay() > 0)
{
//是一个延迟转发消息
return;
}
log.info("消息发送失败,应答码:{},原因:{},交换机:{},路由键:{},消息:{}",
replyCode, replyText, exchange, routingKey, message);
});
}
}
当信息从交换机发送到队列失败后,我将通过此方法回执方法中打印信息发送失败的原因,应答码、以及时哪一个交换机发生了错误,和绑定的路由键是哪一个,以及发送的信息内容是什么,并将其打印到日志中,同时,我们拿取到上诉信息后,也可以根据自己需要,是否需要在rabbitTemplate.setReturnCallback方法体中编写代码进行消息重发。
1.4编写消息生产者端的回调函数,实现 ConfirmCallback,处理信息发送到到交换机的途中数据丢失
注意:
编写 ConfirmCallback,rabbitTemplate并没有要求唯一实现,所以我们可以在信息发送时指定不同的回调函数的处理逻辑,同时,我们因为我们选择的处理类型是correlated,因为,是异步调用,不会导致信息阻塞,所以需要构造Corre