服务异步特性高级篇之rabbitmq的高级特性——实现消息的可靠性、死信交换机介绍与搭建、实现信息延迟发送、声明惰性队列解决信息堆积、搭建三种模式的RabbitMQ集群(普通、镜像、仲裁队列)

目录

一、信息可靠性

1.1导致信息丢失的可能性

1.2开启RabbitMQ的 publisher confirm机制,实现生产者确认

1.3编写消息生产者端的回调函数 ReturnCallback ,处理交换机发送信息到队列信息丢失问题

1.4编写消息生产者端的回调函数,实现 ConfirmCallback,处理信息发送到到交换机的途中数据丢失

 1.5配置消费者确认机制,和消费者失败信息处理策略

二、死信交换机 

2.1概念介绍

2.2创建死信交换机和对应队列,用于接收死信信息

 2.3为需要转发死信信息的队列绑定死信交换机

三、信息延迟发送

3.1安装DelayExchange插件

3.2定义延迟信息发送的交换机

四、设置惰性队列

五、搭建MQ集群

5.1搭建普通集群

5.1.1获取Cookie

5.1.2准备集群配置

5.1.3启动集群

5.1.4连接集群

5.2搭建镜像集群

5.2.1配置镜像集群的exactly模式

5.2.2配置all模式

5.2.3配置nodes模式

 5.3.4创建exactly模式的队列​编辑

5.3搭建仲裁队列

5.3.1添加仲裁队列


前言:

在进行RabbitMQ的高级特性讲解之前,先了解一些MQ的一些常见问题:

  • 消息可靠性问题:如何确保发送的消息至少被消费一次
  • 延迟消息问题:如何实现消息的延迟投递
  • 消息堆积问题:如何解决数百万消息堆积,无法及时消费的问题
  • 高可用问题:如何避免单点的MQ故障而导致的不可用问题

而这些问题会统统在本篇目进行解决,客观往下看~

一、信息可靠性

1.1导致信息丢失的可能性

上图是我们通过RabbitMQ发送信息的流程图,而在这个过程中,消息从从生产者(publisher)发送到exchange,再到queue,再到消费者(consumer),将会在以下阶段产生信息丢失的可能:

  • 发送时丢失:
  • 生产者发送的消息未送达exchange
  • 消息到达exchange后未到达queue
  • MQ宕机queue将消息丢失,无法发送到consumer
  • consumer接收到消息后未消费就宕机

而为了避免消息发送到MQ过程中丢失,也就是消息无法成功到达信息队列的问题,RabbitMQ提供了publisher confirm机制:

消息发送到MQ以后,会返回一个结果给发送者,表示消息是否处理成功。结果有两种请求:

  • publisher-confirm,发送者确认
  • 消息成功投递到交换机,返回ack
  • 消息未投递到交换机,返回nack
  • publisher-return,发送者回执
  • 消息投递到交换机了,但是没有路由到队列。返回ACK,及路由失败原因。

图例:

所以,我们可以开启RabbitMQ提供的publisher confirm机制,当信息发送后,如果在上面的两个阶段(一个没有到达交换机,一个没有到达队列)发生了信息丢失,我们就能拿到不同的回执数据,以及对应的错误原因,我们可以根据错误原因,看是否需要信息重发或者将信息丢弃等其他处理

1.2开启RabbitMQ的 publisher confirm机制,实现生产者确认

首先我们需要在publisher这个微服务里面的application.yml文件添加配置以开启:

spring:
  rabbitmq:
    host: 192.168.8.129 # rabbitMQ的ip地址
    port: 5672 # 端口
    username: rabbitmq
    password: 123456
    virtual-host: /
    publisher-confirm-type: correlated #配置生产者的确认类型
    publisher-returns: true #开启publisher-return机制
    template:
      mandatory: true #开启ReturnCallBack,获得当数据从交换机发送的队列发生错误的信息

配置说明:

  • publish-confirm-type:开启publisher-confirm,这里支持两种类型:
  • simple:同步等待confirm结果,直到超时
  • correlated:异步回调,定义ConfirmCallbackMQ返回结果时会回调这个ConfirmCallback
  • publish-returns:开启publish-return功能,同样是基于callback机制,不过是定义ReturnCallbac
  • ltemplate.mandatory:定义消息路由失败时的策略。true,则调用ReturnCallbackfalse:则直接丢弃消息

1.3编写消息生产者端的回调函数 ReturnCallback ,处理交换机发送信息到队列信息丢失问题

注意:

        每个RabbitTemplate只能配置一个ReturnCallback,而RabbitTemplate是由spring容器创建并进行管理的,所以,我们需要在项目启动时配置成唯一的,这里我继承了

ApplicationContextAware 的接口,当项目启动后,就会调用继承该接口的方法类,同时重写了接口中setApplicationContext的方法(必须重写),指定了RabbitTemplat对象的ReturnCallBack方法的处理逻辑(这里,我多进行了一步是否为延迟信息判断的处理,大家不需要可以直接删除)。

,代码如下:

import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.context.annotation.Configuration;

@Configuration
@Slf4j
public class CommonConfig implements ApplicationContextAware {


    /**
     * RabbitTemplate只能配置一个ReturnCallback,因此需要在项目启动过程中配置
     *
     * @param applicationContext Bean容器
     * @throws BeansException 获取bean失败抛出异常
     */
    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        //获取applicationContext对象
        RabbitTemplate rabbitTemplate = applicationContext.getBean(RabbitTemplate.class);
        //配置 ReturnCallBack
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
            //判断是否为延迟信息
            if(message.getMessageProperties().getReceivedDelay() > 0)
            {
                //是一个延迟转发消息
                return;
            }

            log.info("消息发送失败,应答码:{},原因:{},交换机:{},路由键:{},消息:{}",
                    replyCode, replyText, exchange, routingKey, message);
        });
    }
}

当信息从交换机发送到队列失败后,我将通过此方法回执方法中打印信息发送失败的原因,应答码、以及时哪一个交换机发生了错误,和绑定的路由键是哪一个,以及发送的信息内容是什么,并将其打印到日志中,同时,我们拿取到上诉信息后,也可以根据自己需要,是否需要在rabbitTemplate.setReturnCallback方法体中编写代码进行消息重发。

1.4编写消息生产者端的回调函数,实现 ConfirmCallback,处理信息发送到到交换机的途中数据丢失

注意:

编写 ConfirmCallbackrabbitTemplate并没有要求唯一实现,所以我们可以在信息发送时指定不同的回调函数的处理逻辑,同时,我们因为我们选择的处理类型是correlated,因为,是异步调用,不会导致信息阻塞,所以需要构造Corre

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值