LVS详解及其NAT模式与DR模式部署（全网最详细！！！）

已于 2024-08-09 16:48:52 修改
阅读量1.1k 收藏 28
点赞数 11
CC 4.0 BY-SA版权
文章标签： lvs 运维 云原生
于 2024-08-08 16:30:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65017742/article/details/141029960

文章目录

LVS集群概念

Cluster集群： 是为了解决某个特定问题将多台计算机组合起来形成的单个系统。

Cluster集群三种类型：

  • LB： LoadBalancing，负载均衡，由多个主机组成，每个主机只承担一部分访问。
  • HA： High Availiablity，高可用，避免 SPOF（single Point Of failure 单点故障）。
  • HPC： High-performance computing，高性能计算。
集群和分布式

  • 集群： 同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。

  • 分布式： 一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。

区别：分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率

LVS运行原理

LVS简介

LVS 是Linux Virtual Server的简称，也就是 Linux 虚拟服务器，是一个由章文嵩博士发起的自由软件项目。负载调度器，内核集成。

LVS专业术语

  • DR： Director Balancer 负载均衡器、分发器

  • VS： Virtual Server 负载均衡集群对外提供的IP+Port

  • RS： Real Server 后端请求处理服务器

  • CIP： Client IP 客户端访问的IP

  • VIP: Virtual serve IP VS外网的IP，提供外网访问的虚拟IP

  • DIP: Director IP VS内网的IP，负载均衡器IP

  • RIP: Real server IP 后端请求处理服务器IP

工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。也就是说，用户请求LVS VIP，LVS根据转发方式和算法，将请求转发给后端服务器，后端服务器接受到请求，返回给用户。对于用户来说，看不到WEB后端具体的应用。

LVS调度算法

lvs调度算法类型

ipvs scheduler： 根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法。

静态方法： 仅根据算法本身进行调度，不考虑RS的负载情况。

动态方法： 主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度。

lvs静态调度算法

  • RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐。

  • WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少。

  • SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定。（session可以理解为服务器和客户端建立的一个沟通，session保存在服务器上，cookie保存在客户端上）

  • DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商。

lvs动态调度算法

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度.

  • LC：least connections（最少链接）

    适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数）

  • WLC：Weighted LC（权重最少链接）

    默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight

  • SED：Shortest Expection Delay

    初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight。但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接。

  • NQ：Never Queue，第一轮均匀分配，后续SED。

  • LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理。

  • LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS。

ipvsadm常用命令
1.管理集群服务中的增删改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
-A #添加
-E #修改
-t #tcp服务
-u #udp服务
-s #指定调度算法，默认为WLC
-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver
-f #firewall mask 火墙标记，是一个数字


2.管理集群中RealServer的增删改
ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]
-a #添加realserver
-e #更改realserver
-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate ：输出速率信息

LVS工作模式及其原理

NAT模式

网络地址转换模式，进站/出站的数据流量经过分发器(IP负载均衡，他修改的是IP地址) --利用三层功能。

  • 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

  • RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

  • 请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

  • 支持端口映射，可修改请求报文的目标PORT

  • VS必须是Linux系统，RS可以是任意OS系统
    在这里插入图片描述

  1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP。
  2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。
  3. IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP。
  4. POSTROUTING链通过选路，将数据包发送给Real Server 、Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP。
  5. Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP。

原理：就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址，并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的源IP地址改为自己的IP，将目的地址改为客户端IP地址即可｡期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器｡

DR模式

直接路由模式，只有进站的数据流量经过分发器(数据链路层负载均衡，因为他修改的是目的mac地址)–利用二层功能mac地址。

  1. Director和各RS都配置有VIP

  2. 确保前端路由器将目标IP为VIP的请求报文发往Director

  3. 在前端网关做静态绑定VIP和Director的MAC地址

    • 在RS上使用arptables工具
    arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
    • 在RS上修改内核参数以限制arp通告及应答级别
    /proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce

  4. RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

  5. RIP的网关不能指向DIP，以确保响应报文不会经由Director

  6. RS和Director要在同一个物理网络

  7. 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

  8. 不支持端口映射（端口不能修败）

  9. RS可使用大多数OS系统
    在这里插入图片描述

  • 首先用户用CIP请求VIP。
  • 根据上图可以看到，不管是Director Server还是Real Server上都需要配置相同的VIP，那么当用户请求到达我们的集群网络的前端路由器的时候,请求数据包的源地址为CIP目标地址为VIP，此时路由器会发广播问谁是VIP，那么我们集群中所有的节点都配置有VIP，此时谁先响应路由器那么路由器就会将用户请求发给谁，这样一来我们的集群系统是不是没有意义了，那我们可以在网关路由器上配置静态路由指定VIP就是Director Server，或者使用一种机制不让Real Server 接收来自网络中的ARP地址解析请求，这样一来用户的请求数据包都会经过Director Servrer。
  • 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP。
  • PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。
  • IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址。
  • 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
  • RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP。
  • 响应报文最终送达至客户端。

原理：负载均衡器和RS都使用同一个IP对外服务｡但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默｡也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC（因为IP一致）并将请求分发给这台RS｡这时RS收到这个数据包,处理完成之后，由于IP一致，可以直接将数据返给客户，则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端｡

TUN模式

IP隧道(Tunnel)模式

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

  1. DIP, VIP, RIP都应该是公网地址

  2. RS的网关一般不能指向DIP

  3. 请求报文要经由Director，但响应不能经由Director

  4. 不支持端口映射

  5. RS的OS须支持隧道功能

在这里插入图片描述

  1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。

  2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。

  3. IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP。

  4. POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP。

  5. RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP

  6. 响应报文最终送达至客户端

原理：互联网上的大多Internet服务的请求包很短小，而应答包通常很大。那么隧道模式就是，把客户端发来的数据包，封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器｡注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议｡所以,在RS的内核中,必须编译支持IPTUNNEL这个选项

fullnet模式

在这里插入图片描述
原理:客户端对VIP发起请求，Director接过请求发现是请求后端服务。Direcrot对请求报文做full-nat，把源ip改为Dip，把目标ip转换为任意后端RS的rip，然后发往后端，rs接到请求后，进行响应，相应源ip为Rip目标ip还是DIP，又内部路由路由到Director,Director接到响应报文，进行full-nat。将源地址为VIP，目标地址改为CIP。

部署NAT模式集群案例

在这里插入图片描述
在这里插入图片描述
环境准备

从RHEL9.4母机中克隆出三台主机

主机1：LVS

添加一张网卡eth1，网络设定为仅主机模式，原有的eth0网络为nat模式。

eht0：运行脚本设定网络eth0、ip为172.25.254.100、网关172.25.254.2 主机名lvs.wwwl.org

eht1：运行脚本设定网络eth1、ip为192.268.0.100、主机名lvs.wwwl.org。网卡配置文件删掉网关

[root@lvs boot]# cat /etc/NetworkManager/system-connections/eth1.nmconnection 
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
最低0.47元/天 解锁文章

200万优质内容无限畅学
LVS负载均衡集群——NAT模式——DR模式
鸡汤的博客
05-30 1417
LVS负载均衡--nat模式--DR模式一、负载均衡集群（1）集群的含义集群的含义（2）企业集群的分类1、负载均衡集群（Load Balance Cluster）2、高可用群集（High Availability Cluster）3、高可用运算群集（High Performance Computer Cluster）（3）负载均衡集群架构1、负载均衡的结构（4）负载均衡集群工作模式分析二、NAT模式（1）地址转换三、TUN模式IP隧道IP隧道四、DR模式直接路由关于LVS虚拟服务器(1) 概况(2) LVS
LVS三种工作模式 、NAT模式和DR模式详细搭建过程
CSDN_xt_peng的博客
06-29 1178
一、lvs三种工作模式 1.NAT模式：通过网络地址转换实现的虚拟服务器。Director Server将用户请求报文的目的地址改成选定的Real Server地址后，转发给Real Server，大并发访问时，Director Server的性能成为瓶颈 2.TUN模式：通过隧道模式实现虚拟服务器。Director Server采用隧道技术将请求发至Real Server后，Real Server直接相应客户端。 3.DR模式：直接使用路由技术是心啊虚拟服务器。通过改写请求报文的MAC地址，将请求发至Re
LVS负载均衡群集之NAT与DR模式
MCB134的博客
03-06 1295
LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现LVS 官网：http://www.linuxvirtualserver.org/阿里SLB和LVS：整个SLB系统由3部分构成: 四层负载均衡，七层负载均衡 和 控制系统，如下图所示;①四层负载均衡，采用开源软件LVS (linux virtual server) ，并根据云计算需求对其进行了定制化。
Keepalived+LVS高可用集群
最新发布
2403_86763298的博客
06-18 1594
如果主服务器发生故障，备用服务器（Backup）会根据 VRRP 协议接管 VIP，继续提供服务，从而实现无缝的故障转移，确保服务的持续性。通过持续监控后端服务器的状态，Keepalived 能及时发现故障服务器，并将其从负载均衡池中移除，避免向不可用的服务器发送请求，直到服务器恢复正常。它会修改数据包的源 IP 地址（SNAT）和目标 IP 地址（DNAT），使得后端真实服务器（Real Server）的网关需要设置为负载均衡器的 IP 地址。这种模式的优点是支持端口映射，配置相对简单，适合小规模集群。
LVS NAT模式配置
zhuoweichen1的专栏
06-29 373
LVS NAT模式配置（有一个问题，不知道是什么原因）
LVS的NAT模式和DR模式的具体配置
朱海燕的博客日记
08-23 658
LVS-NAT模式 准备环境： 192.168.6.12 lvsweb1 192.168.6.13  lvsweb2 192.168.6.14 lvsnat lvsweb1主机配置 [root@lvsweb1 ~]# yum  install  -y  httpd [root@lvsweb1 ~]# echo "hello lvsweb1" > /var/www/html/inde...
4.LVS--NAT模式+DR模式.docx
06-30
### LVS——NAT模式与DR模式详解 #### 一、概述 Linux Virtual Server (LVS) 是一种高性能且可扩展的集群系统，用于提供负载均衡解决方案。它自 Linux 内核 2.6 版本起作为核心模块集成，为用户提供了多种负载均衡...
LVS集群详解：NAT与DR模式配置与优化
“LVS/NAT与LVS/DR模式集群的概述与配置” 负载均衡是现代数据中心和互联网服务的关键组成部分，它确保了服务的稳定性和高效性。LVS（Linux Virtual Server）是一种开源的负载均衡解决方案，由张文嵩在攻读博士学位...
LVS集群部署详解：NAT与DR模式
"这篇LVS部署笔记主要介绍了Linux虚拟服务器(LVS)的三种工作模式：NAT、DR和TUN，以及如何进行相关的部署规划。笔记着重讲解了NAT和DR两种模式的特点和应用场景，同时也提到了对于大规模系统中可能存在的瓶颈问题。...
LVS负载均衡：NAT与DR模式详解及运维要点
2. **DR模式** (Direct Routing): 相比NAT，DR模式更直接，调度器和后端服务器均配置VIP。调度器接收请求后选择后端节点，将请求目的MAC地址改为后端的MAC，直接发送，无需再次通过调度器。这减少了调度器的负载，但...
LVS集群-NAT模式、DR模式、IP-TUN模式详解
zzhongcy的专栏
03-20 3962
LVS系列一、LVS集群-NAT模式 一、集群概述 1、什么是集群？ 一组各自相互独立且又相互依赖的,通过高速网络互联的计算机组成的一个计算机组, 以单一的系统模式加以管理, 为用户提供服务, 对用户来说, 用户只会认为对方是一个服务. 这个里面, 一组计算机的一台计算机就是集群的一个节点 2、 集群的特性： 可伸缩性, 可靠性, 可管理性...
LVS负载均衡群集——NAT模式部署
weixin_55609824的博客
06-16 507
目录一、群集的概念二、群集的分类三、负载均衡群集架构第一层，负载调度器第二层，服务器池第三层，共享存储四、负载均衡群集工作模式分析五、三种负载调度工作模式六、LVS虚拟服务器七、LVS的负载调度算法八、ipvsadm工具九、NAT模式LVS负载均衡群集部署部署过程 一、群集的概念 Cluster，集群、群集 由多台主机构成，但对外只表现为一个 整体，只提供一个 访问入口(域名或IP地址)，相当于 台大型计算机 问题 互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台
一篇文章教会你 LVS———NAT模式和DR模式部署配置
HUHUD521的博客
08-11 1522
LVS-DR模式，即直接路由模式，是一种通过二层网络（数据链路层）直接转发数据包到后端真实服务器的负载均衡技术。在这种模式下，客户端的请求直接路由到后端真实服务器，而不是先经过负载均衡服务器。这种模式可以减少负载均衡服务器的负载，提高系统的整体性能。
lvs
afs17958的博客
11-30 213
一、负载均衡LVS基本介绍 LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网站是http://www.linuxvirtualserver.org现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

acro_09

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值