【RabbitMQ】MQ的基本概念、RabbitMQ简介及安装

原创 已于 2023-04-20 18:43:35 修改 · 2.6w 阅读 · 108 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java-rabbitmq #rabbitmq #java

于 2023-01-11 10:11:41 首次发布
文章介绍了MQ的基本概念，包括消息队列的作用、优势如应用解耦、异步提速和削峰填谷，以及劣势，如系统复杂性和可用性问题。接着详细讲述了RabbitMQ的安装过程，并解析了RabbitMQ的工作原理和基础架构，包括Broker、VirtualHost、Exchange和Queue等概念。此外，还提到了RabbitMQ的多种工作模式和JMS的相关知识。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

MQ的基本概念

MQ概述

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。

一般我们的分布式系统有两种方式进行通信：

  • 第一种：在这里插入图片描述
    A系统直接通过远程调用的方式来访问B系统

  • 第二种：
    在这里插入图片描述

    发送方称为生产者，接收方称为消费者

    A系统借助于第三方，第三方再将数据给B系统，实现间接的通信。消息队列就属于这种方式

MQ 的优势和劣势

MQ的优势有三点：

  • 应用解耦
  • 异步提速
  • 异步提速

应用解耦方面
在这里插入图片描述
当用户点击按钮下订单的时候，访问订单系统，然后订单系统要访问库存、支付、物流系统这里他有两种方式进行访问。一种是直接远程调用，这样的话订单系统和右边的三个系统会耦合到一起，这就会带来一些问题。

比如说我们的库存系统挂了，那么随之我们的订单系统也会无法工作：

在这里插入图片描述

假设说现在使用订单系统的时候，还有多调用一个X系统，那么我们又要去修改订单系统的代码，当需求增多，变化频繁的时候这显然很麻烦。

在这里插入图片描述

系统的耦合性越高，容错性就越低，可维护性就越低。

而如果我们使用MQ的话，当用户下订单访问订单系统，订单系统只需要发送消息给MQ就行了，这个时候就可以给用户反馈说订单成功了。而右边的系统只需要分别从MQ里面把订单消息数据拿出来，然后在自己的系统里面进行处理就行。并且此时库存系统如果挂了，那么订单系统是没有任何影响的。
在这里插入图片描述

异步提速
在这里插入图片描述
一个下单操作耗时：20 + 300 + 300 + 300 = 920ms
用户点击完下单按钮后，需要等待920ms才能得到下单响应，太慢！

在这里插入图片描述

用户点击完下单按钮后，只需等待25ms就能得到下单响应 (20 + 5 =25ms)。
提升用户体验和系统吞吐量（单位时间内处理请求的数目）。

削峰填谷

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
使用了 MQ 之后，限制消费消息的速度为1000，这样一来，高峰期产生的数据势必会被积压在 MQ 中，高峰就被“削”掉了，但是因为消息积压，在高峰期过后的一段时间内，消费消息的速度还是会维持在1000，直到消费完积压的消息，这就叫做“填谷”。

使用MQ后，可以提高系统稳定性。

MQ的劣势：

在这里插入图片描述

  • 系统可用性降低
    系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。如何保证MQ的高可用？
  • 系统复杂度提高
    MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
  • 一致性问题
    A 系统处理完业务，通过 MQ 给B、C、D三个系统发消息数据，如果 B 系统、C 系统处理成功，D 系统处理失败。如何保证消息数据处理的一致性？

常见的MQ产品

目前业界有很多的 MQ 产品，例如 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，也有直接使用 Redis 充当消息队列的案例，而这些消息队列产品，各有侧重，在实际选型时，需要结合自身需求及 MQ 产品特征，综合考虑。

在这里插入图片描述

RabbitMQ简介

AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是一个网络协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。2006年，AMQP 规范发布。类比HTTP。

在这里插入图片描述

AMQP这个过程就是：由生产者发布消息到交换机，交换机再通过路由规则将消息发送到不同的队列中去存储，然后消费者从队列中监听拿走对应的消息来消费。、

2007年，Rabbit 技术公司基于 AMQP 标准开发的 RabbitMQ 1.0 发布。RabbitMQ 采用 Erlang 语言开发。Erlang 语言由 Ericson 设计，专门为开发高并发和分布式系统的一种语言，在电信领域使用广泛。

RabbitMQ 基础架构如下图：
在这里插入图片描述
RabbitMQ 中的相关概念：

  • Broker：接收和分发消息的应用，RabbitMQ Server就是 Message Broker
  • Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个vhost，每个用户在自己的 vhost 创建 exchange／queue 等
  • Connection：publisher／consumer 和 broker 之间的 TCP 连接
  • Channel：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP Connection的开销将是巨大的，效率也较低。Channel 是在 connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的 channel 进行通讯，AMQP method 包含了channel id 帮助客户端和message broker 识别 channel，所以 channel 之间是完全隔离的。Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP connection 的开销
  • Exchange：message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到queue 中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout (multicast)
  • Queue：消息最终被送到这里等待 consumer 取走
  • Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含routing key。Binding 信息被保存到 exchange 中的查询表中，用于 message 的分发依据

RabbitMQ 提供了 6 种工作模式：

  • 简单模式
  • work queues
  • Publish/Subscribe 发布与订阅模式
  • Routing路由模式
  • Topics 主题模式
  • RPC 远程调用模式（远程调用，不太算 MQ；暂不作介绍）。

官网对应模式介绍：https://www.rabbitmq.com/getstarted.html

在这里插入图片描述

最后我们还要说说JMS：

JMS 即 Java 消息服务（JavaMessage Service）应用程序接口，是一个 Java 平台中关于面向消息中间件的API

  • JMS 是 JavaEE 规范中的一种，类比JDBC
  • 很多消息中间件都实现了JMS规范，例如：ActiveMQ。
  • RabbitMQ 官方没有提供 JMS 的实现包，但是开源社区有

RabbitMQ的安装

1. 安装依赖环境

在线安装依赖环境：

yum install build-essential openssl openssl-devel unixODBC unixODBC-devel make gcc gcc-c++ kernel-devel m4 ncurses-devel tk tc xz

2. 安装Erlang

上传

erlang-18.3-1.el7.centos.x86_64.rpm
socat-1.7.3.2-5.el7.lux.x86_64.rpm
rabbitmq-server-3.6.5-1.noarch.rpm

# 安装
rpm -ivh erlang-18.3-1.el7.centos.x86_64.rpm

如果出现如下错误

在这里插入图片描述

说明gblic 版本太低。我们可以查看当前机器的gblic 版本

strings /lib64/libc.so.6 | grep GLIBC

在这里插入图片描述

当前最高版本2.12，需要2.15.所以需要升级glibc

  • 使用yum更新安装依赖

    sudo yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make -y

  • 下载rpm包

    wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/glibc-utils-2.17-55.el6.x86_64.rpm &
wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/glibc-static-2.17-55.el6.x86_64.rpm &
wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/glibc-2.17-55.el6.x86_64.rpm &
wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/glibc-common-2.17-55.el6.x86_64.rpm &
wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/glibc-devel-2.17-55.el6.x86_64.rpm &
wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/glibc-headers-2.17-55.el6.x86_64.rpm &
wget http://copr-be.cloud.fedoraproject.org/results/mosquito/myrepo-el6/epel-6-x86_64/glibc-2.17-55.fc20/nscd-2.17-55.el6.x86_64.rpm &

  • 安装rpm包

    sudo rpm -Uvh *-2.17-55.el6.x86_64.rpm --force --nodeps

  • 安装完毕后再查看glibc版本,发现glibc版本已经到2.17了

    strings /lib64/libc.so.6 | grep GLIBC

在这里插入图片描述

3. 安装RabbitMQ

# 安装
rpm -ivh socat-1.7.3.2-5.el7.lux.x86_64.rpm

# 安装
rpm -ivh rabbitmq-server-3.6.5-1.noarch.rpm

4. 开启管理界面及配置

# 开启管理界面
rabbitmq-plugins enable rabbitmq_management
# 修改默认配置信息
vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.5/ebin/rabbit.app 
# 比如修改密码、配置等等，例如：loopback_users 中的 <<"guest">>,只保留guest

5. 启动

service rabbitmq-server start # 启动服务
service rabbitmq-server stop # 停止服务
service rabbitmq-server restart # 重启服务
  • 设置配置文件
cd /usr/share/doc/rabbitmq-server-3.6.5/

cp rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

6. 配置虚拟主机及用户

用户角色

RabbitMQ在安装好后，可以访问http://ip地址:15672 ；其自带了guest/guest的用户名和密码；如果需要创建自定义用户；那么也可以登录管理界面后，如下操作：

在这里插入图片描述

在这里插入图片描述

角色说明：

1、 超级管理员(administrator)

可登陆管理控制台，可查看所有的信息，并且可以对用户，策略(policy)进行操作。

2、 监控者(monitoring)

可登陆管理控制台，同时可以查看rabbitmq节点的相关信息(进程数，内存使用情况，磁盘使用情况等)

3、 策略制定者(policymaker)

可登陆管理控制台, 同时可以对policy进行管理。但无法查看节点的相关信息(上图红框标识的部分)。

4、 普通管理者(management)

仅可登陆管理控制台，无法看到节点信息，也无法对策略进行管理。

5、 其他

无法登陆管理控制台，通常就是普通的生产者和消费者。

Virtual Hosts配置

像mysql拥有数据库的概念并且可以指定用户对库和表等操作的权限。RabbitMQ也有类似的权限管理；在RabbitMQ中可以虚拟消息服务器Virtual Host，每个Virtual Hosts相当于一个相对独立的RabbitMQ服务器，每个VirtualHost之间是相互隔离的。exchange、queue、message不能互通。 相当于mysql的db。Virtual Name一般以/开头。

创建Virtual Hosts

在这里插入图片描述

设置Virtual Hosts权限

在这里插入图片描述

在这里插入图片描述

pandas保存文件
热门推荐
修炼之路
01-14 8万+
1、使用DataFrame的to_csv函数保存文件 在使用DataFrame的to_csv保存文件的时候，会默认使用逗号作为分隔符，如果没有设置行列索引，也没有禁用行列索引保存的话，保存文件的时候，会默认加上由0开始的行列索引。 data = pd.DataFrame(np.arange(9).reshape(3, 3)) data.to_csv("data.csv")dat
Pandas文件读写操作
前景
07-20 2694
Pandas文件读写操作
pandas保存读取的文件
xycxycooo的博客
08-26 534
如果你已经成功读取了XLS文件并将其保存到一个DataFrame中，并且希望将处理后的数据保存到新的文件中，可以使用pandas提供的多种文件格式保存功能。
Pandas实现Excel数据提取与就地保存的自动化办公流程
最新发布
weixin_35266799的博客
05-26 967
在前面的章节中，我们已经深入了解了Pandas库在数据处理方面的强大功能，以及OpenPyXL库在Excel文件操作上的灵活性。现在，我们站在知识的高地上，回顾一下本书的核心内容，并展望Pandas与Excel集成应用的未来。Pandas与Excel的协作不仅仅是数据的简单传输，更是一种生产力的提升。通过Pandas库，我们能够将数据清洗、转换、分析等复杂操作变得简洁高效。而在将数据成果分享给非技术背景的同事或管理者时，Excel可能是最佳的展现形式。
pandas：如何保存数据比较好？
Gefangenes的博客
05-02 935
pandas能够保存的文件格式有很多，比如还有XMLJSONHTML等等，上面列出的4种是我认为比较典型，且在数据分析领域用的比较多的格式。4种磁盘占用读取效率写入效率csv96.7 MBpickle111.5 MBparquet31.4 MBfeather54.7 MB综合来看，当我们的数据量不大的时候，用CSV格式比较好，分享方便，可以用多种编辑器直接打开查看。当数据规模变大了之后，如果数据需要长期存储，而且不需要经常的更新写入，那么用parquet。
pandas数据加载与存储
m0_52331159的博客
10-24 3784
pandas数据分析之数据加载与存储
python pandas 文件保存/转换/处理
weixin_59656354的博客
07-21 788
【代码】python pandas 文件保存/转换/处理。
python将pandas datarame保存为txt文件的实例
09-19
### Python将Pandas DataFrame保存为TXT文件的知识点详解 在数据处理领域，Pandas作为Python中的一个重要库，提供了丰富的功能来处理结构化数据。本文主要介绍如何使用Pandas将DataFrame对象保存为TXT文件的方法，...
【Python数据分析】Pandas_文件读写操作
qq_45951891的博客
06-17 591
在 CSV 文件中指定了一个列，然后使用index_col可以实现自定义索引。
使用python的pandas库读取csv文件保存至mysql数据库
12-24
第一：pandas.read_csv读取本地csv文件为数据框形式 data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv') 第二：如果存在日期格式数据，利用pandas.to_datatime()改变类型 data.iloc[:,1]=pd....
使用pandas将numpy中的数组数据保存到csv文件的方法
12-24
如果想保存numpy中的数组元素到一个文件中，通过纯Python的文件写入当然是可以实现的，但是总觉得是少了一点便捷性。在这方面，pandas工具的使用就会让工作方便很多。下面通过一个简单的小例子来演示一下。 首先，...
pandas---文件读取与存储（csv、hdf、json、excel、sql）
weixin_43961909的博客
06-17 3313
数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、EXCEL、JSON、 HDF5。
2024年Python最全资深程序员：学Python我推荐你用这几款编辑器，2024年最新面试考哪些
m0_60721649的博客
05-04 759
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
Pandas常用操作命令（一）——数据读取、保存
Python当打之年
06-21 1949
Pandas常用操作命令系列
数据挖掘工具pandas（八）Pandas保存、读取外部数据
TFATS的博客
05-25 519
pandas保存、读取外部数据 1，pandas保存、读取csv文件 import numpy as np import pandas as pd import numpy as np np.random.seed(4) day_data = np.random.normal(0,1,(500,507)) day_data = np.round(day_data,1) stock_list = ["股票"+ str(i) for i in range(day_data.shape[0])] date = [
Pandas读取保存数据
骑着居居追飞机的博客
09-24 1374
写文件方法读取文件，常用参数如下index_col指定索引列列下标指定为索引列名指定为索引对指定列解析为时间日期类型将指定的列解析为时间日期类型通过列下标解析该列为时间日期类型通过列名解析该列为时间日期类型将df的索引解析为时间日期类型指定字符分隔符为\t读取tsv文件Pandas和MySQL进行交互（读写）# 需要安装 pip istall pymysql# 需要安装 pip istall sqlalchemy# 导入sqlalchemy的数据库引擎。
pandas数据加载和保存
zj88189748的专栏
01-17 785
保存数据的方法都是to_开头，比如to_csv()、to_excel()、to_sql()、to_html()等等。1.4读取拆分单元格数据str.extract()1.4数据类型dtype。1.4读取转换为时间类型。
提升数据处理技巧：用Pandas实现高效的数据加载与保存
qq_51749909的博客
11-01 1092
在数据分析与数据科学的工作流程中，数据的输入与输出至关重要。Pandas库提供了广泛的输入输出功能，可以轻松地将数据从各种外部来源加载到Python中进行处理，同时也可以将处理后的数据保存回不同的文件格式或者数据库中。
02pandas读取和保存数据的方法
m0_51453764的博客
01-04 1324
本文介绍了pandas读取和保存数据的方法
pandas文件格式操作
03-14
### Pandas 文件格式读写操作教程 #### 1. CSV文件的读取与保存 Pandas 提供了 `read_csv` 方法用于从 CSV 文件中加载数据到 DataFrame 中。同样，也可以使用 `to_csv` 将 DataFrame 数据保存为 CSV 文件。 以下是具体的代码示例： ```python import pandas as pd # 读取CSV文件 df = pd.read_csv('file.csv') # 加载本地CSV文件 [^1] # 保存DataFrame为CSV文件 df.to_csv('output.csv', index=False) # 不保存行索引 [^1] ``` --- #### 2. JSON文件的读取与保存 对于JSON格式的数据，Pandas 支持通过 `read_json` 和 `to_json` 进行读取和存储。无论是本地文件还是远程 URL 都支持。 具体实现如下所示： ```python # 读取本地JSON文件 df = pd.read_json('data.json') # 自动解析为DataFrame对象 [^3] # 从URL读取JSON数据 url = 'https://example.com/data.json' df_url = pd.read_json(url) # 直接从网络地址获取数据 # 保存DataFrame为JSON文件 df.to_json('output.json', orient='records') ``` --- #### 3. Excel文件的读取与保存 针对Excel文件的操作，Pandas 使用 `read_excel` 来读取 `.xls` 或 `.xlsx` 格式的文件，并提供 `to_excel` 方法导出数据至 Excel 表格。 注意：需要安装额外依赖库 `openpyxl` 或 `xlrd` 才能正常运行这些功能。 ```python # 安装必要模块 (如果尚未安装) !pip install openpyxl xlrd # 读取Excel文件 df_excel = pd.read_excel('file.xlsx', sheet_name='Sheet1') # 导出DataFrame为Excel文件 df.to_excel('output.xlsx', sheet_name='Sheet1', index=False) ``` --- #### 4. SQL数据库的交互 当涉及关系型数据库时，Pandas 可借助 SQLAlchemy 库连接各种类型的数据库（如 SQLite, MySQL）。它允许直接查询并将结果作为 DataFrame 返回；或者反过来把现有 DataFrame 插入到指定表中。 下面是基于SQLite的一个例子： ```python from sqlalchemy import create_engine # 创建引擎实例 engine = create_engine('sqlite:///database.db') # 查询SQL语句并返回DataFrame query = "SELECT name, salary, department FROM employees" sql_df = pd.read_sql(query, engine) # 计算各部门平均工资 avg_salary_by_dept = sql_df.groupby('department')['salary'].mean() # 将DataFrame存回SQL表 avg_salary_by_dept.to_sql(name='average_salaries_per_department', con=engine, if_exists='replace', index=True) ``` 上述片段说明了如何执行基本SQL命令以及后续数据分析流程[^4]。 --- #### 5. 多层次索引(MultiIndex)的应用场景 除了常规单维度索引外，在某些复杂情况下可能需要用到多级索引结构。这时可以依靠 MultiIndex 构建更加灵活的数据模型。 例如定义一个多层列名体系： ```python arrays = [['A','A','B','B'], ['foo','bar','foo','bar']] tuples = list(zip(*arrays)) index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) df_multi_indexed = pd.DataFrame([[0,1,2,3], [4,5,6,7]], columns=index) print(df_multi_indexed) ``` 这段脚本演示了怎样构建一个具有双重分类标签的表格布局[^2]。 --- ### 总结 综上所述，Pandas 是一种强大而易用的数据处理工具包，适用于多种常见文件类型之间的相互转换及其高级特性应用开发之中。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十八岁讨厌编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值