Redis集群

原创 已于 2024-01-26 19:44:09 修改 · 1.2k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #数据库 #缓存

于 2024-01-26 16:53:35 首次发布

一、应用场景

为什么需要redis集群？

当主备复制场景，无法满足主机的单点故障时，需要引入集群配置。

一般数据库要处理的读请求远大于写请求 ，针对这种情况，我们优化数据库可以采用读写分离的策略。我们可以部 署一台主服务器主要用来处理写请求，部署多台从服务器 ，处理读请求。

二、基本原理

哨兵选举机制，如果有半数节点发现某个异常节点，共同决定改异常节点的状态，如果该节点是主节点，对应的备节点自动顶替为主节点。Sentinel（哨兵）是Redis 的高可用性解决方案：由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务器。

主从复制的作用

1、数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。

2、故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。

3、负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。

4、读写分离：可以用于实现读写分离，主库写、从库读，读写分离不仅可以提高服务器的负载能力，同时可根据需求的变化，改变从库的数量。

5、高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础

三、配置集群

配置集群所需的环境

Redis集群至少需要3个节点，因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了，所以2个节点无法构成集群。

要保证集群的高可用，需要每个节点都有从节点，也就是备份节点，所以Redis集群至少需要6台服务器。因为我没有那么多服务器，也启动不了那么多虚拟机，所在这里搭建的是伪分布式集群，即一台服务器虚拟运行6个redis实例，修改端口号为（7001-7006），当然实际生产环境的Redis集群搭建和这里是一样的。

1. 规划网络

用一台虚拟机模拟6个节点，一台机器6个节点，创建出3 master、3 salve 环境。虚拟机是 CentOS7 ，ip地址192.168.153.88

2. 创建redis节点

首先在 192.168.153.88 机器上 /usr/目录下创建myredis目录；

3. 创建目录

mkdir 7001 7002 7003 7004 7005 7006

4. 创建并配置redis.conf

vim redis.conf

include 绝对路径   

可以通过find / -name redis.conf查找redis安装的路径

daemonize 开启后台运行

cluster-enabled yes       开启集群功能
cluster-config-file nodes-7001.conf     集群配置文件，此文件不能人工编辑
cluster-node-timeout 15000           集群中的节点能够失联的最大时间，超过这个时间，该节点就会被认为故障

5. 将redis.conf拷贝到其他目录中

集群配置一般不要设置密码

修改其他几个文件

:%s/7001/7002/g全局修改

6. 启动这6个redis

创建一个文件一键启动、

编辑文件

修改权限并启动

7. 创建redis的集群

 /usr/local/bin/redis-cli      --cluster create      192.168.153.88:7001      192.168.153.88:7002 192.168.153.88:7003     192.168.153.88:7004      192.168.153.88:7005     192.168.153.88:7006        --cluster-replicas 1

cluster-replicas 1

1其实代表的是一个比例，就是主节点数/从节点数的比例。那么想一想，在创建集群的时候，哪些节点是主节点呢？哪些节点是从节点呢？答案是将按照命令中IP:PORT的顺序，先是3个主节点，然后是3个从节点。

分配原则尽量保证每个主数据库运行在不同的IP地址，每个从库和主库不在一个IP地址上。

成功如图

8. 使用cli连接redis集群

使用客户端链接集群 必须使用 -c 连接     -c不能省略

 /usr/local/bin/redis-cli -c -h 192.168.153.88 -p 7002

 查看集群的节点的信息 ：cluster nodes

9. 检查集群的状态

/usr/local/bin/redis-cli --cluster check 192.168.153.88:7003

10. 添加主节点

配置文件 7007 /redis.conf

在添加之前首先要像7001-7006一样，修改配置文件，启动7007 服务

 /usr/local/bin/redis-cli --cluster add-node 192.168.153.88:7007 192.168.153.88:7003

前面的IP加端口号是要添加的redis节点，后面的IP和端口号是集群中的任意一个节点。

 检查节点的状态

11. 配置从节点

刚才添加的主节点还没有分配槽，所以无法使用

添加从节点之前需要设置从节点并启动节点

 配置7008的端口号成为7007的从节点

先查看节点

配置：/usr/local/bin/redis-cli --cluster add-node 192.168.153.88:7008 192.168.153.88:7002 --cluster-slave --cluster-master-id  2f33212614637489f7a65c93512aa003f7b85cfb

拆分解析：

1. 先将节点加入到集群   /usr/local/bin/redis-cli --cluster add-node 192.168.153.88:7008 192.168.153.88:7002

2.角色  --cluster-slave

3.--cluster-master-id 为从节点对应主节点的id   2f33212614637489f7a65c93512aa003f7b85cfb

查看状态

添加的主节点还不能使用，因为没有分配slots，

重新分配slots

slot的概念。slot对于Redis集群而言，就是一个存放数据的地方，就是一个槽。对于每一个Master而言，会存在一个slot的范围，而Slave则没有。在Redis集群中，依然是Master可以读、写，而Slave只读

 新增主节点分配槽

/usr/local/bin/redis-cli --cluster reshard 192.168.153.88:7001

all 代表从所有有数据据节点进行迁移到目的节点，也可以选择 目标节点id回车，最后以done进行结束

done 代表结束

 

再检查一下节点会发现7007已经分配了500槽。7002少了500

这个时候就表示槽已经分配成功了

批量添加

不在一个slot下的键值，是不能直接使用mget,mset等多键操作。

 可以通过{}来定义组的概念，从而使key中{}内相同内容的键值对放到一个slot中去。（按组分配插槽）

当设置了组名的时候分配槽的时候是根据组的名字分配的槽

 12. 删除节点

删除从节点

从节点是读数据的，没有槽

--cluster del-node  集群的节点    节点的id

 表示删除成功

删除主节点

--cluster del-node  集群的节点    节点的id

 删除主节点需要先使用 reshard 把主节点的slots移到其他节点才可以

 再次删除，就可以删除成功了

13. 故障检测

验证集群是否生效：

关闭一个主节点查看对应的备用节点是不是能够顶替主节点成为主节点

存/取数据的时候查看对应的端口号

（关闭主节点以后需要耐心等待一会儿 让他重新分配一下空间）

关闭的时候一定要使用shutdown命令不要使用kill命令

/usr/local/bin/redis-cli -p 7002 shutdown

查看主从关系

/usr/local/redis/bin/redis-cli --cluster check 192.168.153.88:7003

 7004就会自动变成主节点

重启7002，7002就会变成7004的从节点

一键关闭

一定要使用shutdown不要使用kill -9

重启

 查看集群发现集群还在

Redis 集群优点

实现扩容

分摊压力

无中心配置相对简单

Redis 集群的不足

多键操作是不被支持的

多键的Redis事务是不被支持的

由于集群方案出现较晚，很多公司已经采用了其他的集群方案，而代理或者客户端分片的方案想要迁移至redis cluster，需要整体迁移而不是逐步过渡，复杂度较大。

北北川.
关注
redis集群
Late_breeze的博客
09-09 1344
redis集群原理以及实验搭建
Redis集群弱/空密码问题整改
11-15
使用redis安装用户，在命令行连接上redis集群后，执行命令：config set requirepass 【自定义的强密码】，如： config set requirepass mypassword@#75@~ 然后执行 config rewrite 将配置密码持久化到redis配置文件...
Redis 集群
2503_91100205的博客
06-09 2077
在当今互联网高并发、海量数据的场景下，单机 Redis 已无法满足系统对性能、存储和高可用性的需求。Redis 集群作为分布式缓存的终极解决方案，通过巧妙的架构设计实现了数据分片、自动故障转移和动态扩容。本文将从原理出发，深入剖析 Redis 集群的核心机制，并通过完整的实战部署流程，带您掌握这一强大的分布式技术。Redis Cluster 通过哈希槽分片与自动故障转移，完美解决了单机 Redis 的三大痛点：存储限制、写操作瓶颈和手动运维成本。高并发读写：电商秒杀、社交平台 feed 流海量数据存储。
Redis 集群方式
qq_51678989的博客
08-12 5152
集群，即 Redis cluster， 是 Redis 3.0开始引入的分布式存储方案。集群由多个节点(Node)组成，Redis 的数据分布在这些节点中。集群中的节点分为主节点和从节点;只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。
Redis集群详解
热门推荐
怪咖@的博客
06-26 2万+
在了解Redis集群之前尽量先了解清楚Redis的主从复制和哨兵机制。读写分离，性能扩展，降低主服务器的压力容灾，快速恢复，主机挂掉时，从机变为主机Redis 主从模式不具备自动容错和恢复功能，如果主节点宕机，Redis 集群将无法工作，此时需要人为干预，将从节点提升为主节点。哨兵机制作用主要是监控主从节点，当主节点挂掉，通过内部投票机制，从 从节点当中选出一个主节点，这样可以避免人工成本。虽然主从+哨兵采用了多节点，但是他们存在的目的主要是解决容灾问题，而并非性能问题。
redis集群配置
QAZ412803的博客
10-26 2759
主从复制是将一台Redis服务器的数据复制到其他Redis服务器，前者叫master/leader主节点，后者成为从节点slave/follower，数据库的复制是单项的，只能由主–>从，master以写为主，slave以读为主，利用主从复制实现读写分离，最低配的主从复制也需要一主二从。主从复制中，从节点只能进行读操作，如果在从节点执行写命令则会报错，主节点可以执行读写操作，但我们网网规定主节点只能进行写操作，这样也是符合了读写分离；默认情况下，每个Redis服务器都为主节点，即master。
Redis 集群搭建
菜鸟一枚,对云原生感兴趣
07-23 3210
使用 Redis 集群进行扩展 |文档请注意，按预期工作的小集群必须包含 至少三个主节点。对于部署，我们强烈建议 一个六节点集群，包含三个主节点和三个副本。三台服务器各部署一个主节点、一个从节点，同一台服务器上不是直接主从关系。操作系统Centos 7Centos 7Centos 7内核版本主机名称node-01node-02node-03角色IP地址Redis7.2.57.2.57.2.5。
Redis集群篇
蓝影铁哥的博客
07-08 2164
Redis集群
Redis集群部署
qq_40945306的博客
04-24 2055
redis集群部署（虚拟机三主三从）
redis集群设置
大道至简，持之以恒！
03-25 2749
目录 一、背景 二、集群中的主从复制 三、部署redis集群 1、环境搭建 2、集群结点规划 四、 部署结果验证 五、注意事项 一、背景 1、redis的主从和mysql很像，但是配置很简单。slaveof 192.168.80.126 6379然后启动主从便可以了。 但是如果redis主节点发生故障，不会自动切换，需要借助redis的sentinel或者keepalive来实现主的故障转移。（故而可以使用Sentinel来做redis的集群） 2、redis集群是一个
zabbix监控redis集群
03-25
本文将详细讲解如何使用Zabbix监控Redis集群，包括Zabbix服务器的安装、Redis集群的部署以及监控脚本的编写。 首先，我们要准备Redis服务器。在Linux环境中，通常使用`yum`命令来安装Redis。在遇到`yum install ...
Redis集群数据迁移操作文档
06-29
《Redis集群数据迁移实战指南》 在IT领域，数据迁移是一项关键任务，特别是在使用Redis这样的高性能内存数据库时。本文将详细介绍如何进行Redis集群的数据迁移，包括全量和增量数据迁移，以及离线迁移的方法，主要...
redis集群批量插入
11-23
本文将详细讨论如何在Java环境下连接Redis集群并实现批量插入String类型的数据。 首先，我们需要理解Redis集群的基本概念。Redis集群是通过分片（Sharding）技术来分散数据到多个节点，每个节点存储一部分数据。在...
Redis集群下过期key监听的实现代码
09-09
在讨论Redis集群下过期key监听的实现代码之前，首先需要明确几个核心概念和组件： Redis集群是Redis的一种高可用性解决方案，它通过将数据分布在不同的Redis节点上，并提供一定机制保证数据的复制和高可用性。集群...
Redis 从入门到精通：原理、实战与性能优化全解析
博客简介
08-23 690
Redis 凭借 “高性能、丰富特性、高可用” 三大优势，成为分布式架构中不可或缺的组件。本文从核心特性、底层原理、实战部署三个维度，系统讲解了 Redis 的关键知识：​特性层面：掌握 8 种数据结构的应用场景、RDB 与 AOF 的选择、主从 / 哨兵 / 集群的架构差异；​原理层面：理解单线程 + IO 多路复用、内存淘汰策略、过期键删除的设计逻辑；​实战层面：能独立部署集群、优化性能、排查缓存穿透 / 击穿 / 雪崩等问题。​。
Redission是什么
zwh1zwh的博客
08-19 984
​Redisson = Redis + Java 分布式编程模型，通过将分布式系统问题抽象为本地对象操作：​提升效率​：省去 70% 的低级 Redis 命令拼接代码；​增强可靠性​：内置容错、重试、锁续期等生产级特性；​扩展能力​：提供分布式集合/锁/队列等开箱即用的解决方案。👉 ​一句话理解​：如果你在 Java 项目中用 Redis，Redisson 能让分布式开发像写单机应用一样简单高效。
Redis Set 类型详解：从基础命令到实战应用
最新发布
2301_80863610的博客
08-23 611
在 Redis 的众多数据结构中，Set（集合）是一种非常有特色的类型。元素的无序性和元素的唯一性。无序性意味着 Set 中的元素没有先后顺序，{a, b, c} 和 {c, a, b} 被认为是同一个集合。唯一性确保了每个元素在集合中只会出现一次，这使得 Set 成为实现数据去重、统计独立访客（UV）等场景的天然选择。本文将深入探讨 Redis Set 类型的常用操作命令，包括添加、删除、查询以及强大的交集、并集、差集运算，并结合实际应用场景，展示 Set 在开发中的妙用。1、集合中的元素是无序的。
04 Hbase，Redis，Doris安装
Raisy_的博客
08-19 1041
→ 先联系，获取当前活跃的 HMaster 和 RegionServer 信息。→ 协调 HMaster 选举、记录元数据位置。→ 管理 RegionServer，分配/迁移 Region。→ 直接与 HDFS 交互，存取数据文件和日志。→ 作为 HBase 的底层分布式存储。
redis 集群
04-01
### Redis 集群的搭建与配置 #### 一、Redis 集群简介 Redis 是一种高性能的键值存储系统，支持多种数据结构操作。通过集群模式可以实现分布式存储和高可用性。Redis 集群允许多个 Redis 实例协同工作，提供更高的吞吐量和更强的数据持久化能力。 --- #### 二、环境准备 在开始之前，需确认以下条件已满足： - 所有服务器的操作系统版本一致（如 CentOS 7 或 Windows），并安装了相同版本的 Redis 软件。 - 已关闭防火墙或开放必要的端口（默认 Redis 使用 6379 及其衍生端口）。 - 每台服务器上至少有两个 Redis 实例运行，分别作为主节点和从节点[^1]。 --- #### 三、具体步骤 ##### 1. 下载并解压 Redis 文件 下载指定版本的 Redis 压缩包（如 Redis 6.2.5 或更高版本），将其解压到目标路径下。例如，在 Linux 中执行以下命令： ```bash wget http://download.redis.io/releases/redis-6.2.5.tar.gz tar -zxvf redis-6.2.5.tar.gz cd redis-6.2.5 make ``` ##### 2. 创建多个实例目录 为每个 Redis 实例创建独立的工作目录，并复制 `redis.conf` 至对应文件夹中。例如： ```bash mkdir -p /service/redis/{6379,6380} cp redis.conf /service/redis/6379/ cp redis.conf /service/redis/6380/ ``` ##### 3. 修改配置文件 编辑每个实例下的 `redis.conf` 文件，设置不同的监听端口号和其他必要参数。以下是关键配置项： - 设置绑定 IP 地址：`bind 0.0.0.0` - 关闭保护模式：`protected-mode no` - 开启集群功能：`cluster-enabled yes` - 指定集群配置文件位置：`cluster-config-file nodes-{port}.conf` - 设定日志级别：`loglevel notice` ##### 4. 启动 Redis 实例 依次启动各个 Redis 实例。例如： ```bash redis-server /service/redis/6379/redis.conf redis-server /service/redis/6380/redis.conf ``` 如果是在多台物理机上部署，则需要远程登录每台机器重复上述过程[^2]。 ##### 5. 构建集群拓扑 利用 `redis-cli` 的集群管理工具完成初始化操作。假设当前存在六个节点分布在三台主机上，则可输入如下指令构建集群关系： ```bash redis-cli --cluster create \ 192.168.x.y:6379 192.168.x.z:6379 ... \ --replicas 1 ``` 其中 `--replicas` 参数表示每个主节点分配几个副本[^4]。 ##### 6. 验证集群状态 最后可以通过以下方式验证集群是否正常运作： ```bash redis-cli -c -h {任意IP} -p {任一口号} CLUSTER INFO CLUSTER NODES PING SET key value GET key ``` --- #### 四、注意事项 - 如果使用 Docker 容器来部署 Redis 集群，请确保容器间网络互通良好。 - 对于 Windows 平台上的开发测试场景，可通过批处理脚本来简化服务启动流程[^3]。 --- #### 五、示例代码片段 下面展示了一个简单的 Python 程序用于连接至 Redis 集群并向其中写入一条记录： ```python import redis r = redis.StrictRedisCluster(startup_nodes=[{"host": "127.0.0.1", "port": "6379"}], decode_responses=True) r.set('foo', 'bar') print(r.get('foo')) ``` ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值