nginx高可用实践简记

本文详细介绍了如何使用Keepalived和VRRP协议构建Nginx的高可用架构,防止单点故障。讲解了VRRP的工作原理,包括虚拟网关、主备路由器的角色以及虚拟IP和MAC地址的使用。接着展示了Keepalived的软件架构和核心组件,以及如何配置和启动Keepalived服务。在两台服务器上配置Keepalived,通过设置不同的优先级实现虚拟IP的自动漂移。最后,通过结合Nginx,展示了如何利用Keepalived的脚本检测功能确保Nginx服务的高可用性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

高可用简介

为避免nginx单点故障导致上游服务器无法请求,故提出高可用架构,确保当一台代理服务器宕机之后请求可自动转移到通过另一台可用nginx服务器向上游服务器发起请求。

在这里插入图片描述

VRRP协议

VRRP核心概念

  1. 虚拟网关:由一个master和多个backup组成构成,逻辑上我们可以将master和backup看作一个整体,并统称为虚拟网关。
  2. master网关:虚拟网关中实际负责报文转发的路由器,局域网内目标为虚拟网关的报文通通会转发到这台路由器上。
  3. 虚拟IP地址:虚拟网关对外提供服务的ip地址值,即masterbackup路由器的共用的一个虚拟ip,但同一段时间内只允许成为master的服务器使用。
  4. 虚拟mac地址:回应ARP请求时使用的虚拟mac地址。

在这里插入图片描述

VRRP工作原理

虚拟路由冗余协议,是IETF解决局域网内单台网关路由器故障导致网络故障的网络协议。该协议将一VRID相等的主机视为同一个VRRP组。在同一个VRRP组,会根据选择规则找出一个主机视为master,作为路由转发路由。
其余的路由器作为backup路由,当master不在对其发送VRRP消息时,则视为master下线,它们就会竞争master资格。

如下一个VRRP组的路由器,逻辑上公用一个虚拟ip虚拟mac地址,作为master的路由器就会使用虚拟ip地址并负责路由转发工作。而虚拟路由器的mac地址值为格式为: 00-00-5E-00-01-{VRID}

这里需要补充一下,如果你配置的虚拟ip地址某台路由器的ip地址相等,那么这台路由器就默认为master。

在这里插入图片描述

keepalived软件架构

核心能力

  1. 服务器的故障转移
  2. 常用于负载均衡器做高可用

核心组件

  1. vrrp stack:vrrp协议的实现。
  2. ipvs wrapper:为集群内的节点生成ipvs规则。
  3. checkers:对集群内所有的RS做健康状态检测。
  4. 控制组件:配置文件解析与加载。

keepalived使用简介

快速入门keepalived

在配置高可用前,我们首先需要立即一下虚拟ip的概念,如下图,我们会在128这台服务器上安装keepavlived,然后对其配个虚拟ip 192.168.12.130。后面我们再使用本机去ping虚拟ip130,如果收到响应则说明我们的keepalived配置成功。
在这里插入图片描述

首先安装keepalived

yum -y install keepalived

使用vim编辑keepalived配置文件

vim /etc/keepalived/keepalived.conf

配置内容如下,读者可参考注释自行配置:

! Configuration File for keepalived
# 全局配置
global_defs {
# 邮件通知信息
   notification_email {
   # 定义收件人
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }

	# 定义发件人
   notification_email_from Alexandre.Cassen@firewall.loc
   # SMTP服务器地址
   smtp_server 192.168.12.128
   
   smtp_connect_timeout 30
    # 路由器标识,一般不用改,也可以写成每个主机自己的主机名
   router_id router_2
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

 # 一个vrrp_instance就是定义一个虚拟路由器的,实例名称
vrrp_instance VI_1 {
    state BACKUP
    # 绑定的网卡
    interface ens33
    # 路由器唯一标识
    virtual_router_id 51
    # 优先级,这个值大的会作为master
    priority 98
    # 通告频率,单位为秒
    advert_int 1
    # 通信认证机制,这里是明文认证还有一种是加密认证
    authentication {
        auth_type PASS
        auth_pass 1111
    }
# 虚拟ip地址
    virtual_ipaddress {
        192.168.12.130
    }
}

}

完成后将keepalived启动:

systemctl  start  keepalived

我们可以使用下面这条命令查看keepalived日志

tail -f -n 100 /var/log/messages

可以看到这台路由器变成master

在这里插入图片描述

然后我们使用tcpdump来抓包ens33这个网卡,看看能不能获取到虚拟ip 192.168.12.130的报文

tcpdump -i ens33 -nn ' src 192.168.12.127 ' -c 10

键入ping命令进行连通性测试:

ping -c 3 192.168.12.130

可以看到虚拟ip被ping通了,我们不妨看看抓包结果,如下图,130的包果然被128的服务器拿到了


PING 192.168.12.130 (192.168.12.130) 56(84) bytes of data.
64 bytes from 192.168.12.130: icmp_seq=1 ttl=64 time=0.393 ms
64 bytes from 192.168.12.130: icmp_seq=2 ttl=64 time=0.547 ms
64 bytes from 192.168.12.130: icmp_seq=3 ttl=64 time=1.79 ms

--- 192.168.12.130 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2000ms
rtt min/avg/max/mdev = 0.393/0.911/1.795/0.628 ms

在这里插入图片描述

此时我们键入如下命令即可查到,配置的虚拟地址

ip a

在这里插入图片描述

基于keepalived实现虚ip服务节点漂移

我们分别对ip为127和128的服务器都安装keepalived,然后优先级分别设置为100和98。首先启动128这台keepalive,优先级为98,然后在启动127,优先级为100,当127启动时因为优先级比128高,所以会抢占其资格。抢占master资格。

在这里插入图片描述

首先是128(backup)的配置,可以看到笔者将priority 设置为98:


# 全局配置
global_defs   {
# 邮件通知信息
notification_email {
  # 定义收件人
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}

notification_email_from Alexandre.Cassen@firewall.loc
 # SMTP服务器地址
smtp_server 192.168.12.128 #本机ip地址
smtp_connect_timeout 30
# 路由器标识,一般不用改,也可以写成每个主机自己的主机名
router_id LVS_DEVEL # 本机设备名称,可使用命令 vim /etc/hosts 添加一行 127.0.0.1 LVS_DEVEL 完成主机id配置
}

# 一个vrrp_instance就是定义一个虚拟路由器的,若为同一个vrrp组,这个名字必须相同
vrrp_instance VI_1 {
state MASTER # 备份服务器上将 MASTER 改为 BACKUP
# 工作接口,通告选举使用哪个接口进行
interface ens33 //网卡


# ID还是虚拟MAC最后一段地址的信息,取值范围0-255
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同


 # 如果你上面定义了MASTER,这里的优先级就需要定义的比其他的高
priority 98


unicast_src_ip  192.168.12.128    #本地IP地址
unicast_peer {
                  192.168.12.127  #对端IP地址,此地址一定不能忘记
                }
                
 # 工作模式,nopreempt表示工作在非抢占模式,默认是抢占模式 preempt
    nopreempt|preempt

# 通告频率,单位为秒
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}

# 虚拟ip地址,master键入ip a就会看到这个地址,注意虚拟地址必须和上文interface 配置的网卡ip地址属于同一网段
virtual_ipaddress {
192.168.12.130
}
}

然后我们启动128keepalived查看日志他就会变成master

Jul 23 13:39:46 localhost Keepalived_vrrp[11064]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul 23 13:39:47 localhost Keepalived_vrrp[11064]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul 23 13:39:47 localhost Keepalived_vrrp[11064]: VRRP_Instance(VI_1) setting protocol VIPs.
Jul 23 13:39:47 localhost Keepalived_vrrp[11064]: Sending gratuitous ARP on ens33 for 192.168.12.130

此时我我们再来配置127这台服务器的keepalived,配置大抵相同,只不过优先级为100,所以当他启动时他就会变成master


global_defs  {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.12.127 #本机ip地址
smtp_connect_timeout 30
router_id LVS_DEVEL # 本机设备名称,可使用命令 vim /etc/hosts 添加一行 127.0.0.1 LVS_DEVEL 完成主机id配置
}


vrrp_instance VI_1 {
state MASTER # 备份服务器上将 MASTER 改为 BACKUP
interface ens33 //网卡
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同
priority 100
 unicast_src_ip  192.168.12.127    #本地IP地址
    unicast_peer {
                  192.168.12.128  #对端IP地址,此地址一定不能忘记
                }
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.12.130
}
}
~

可以看到127启动之后,128的/var/log/messages/的日志会看到如下信息,100比98大,128变backup

Jul 23 13:51:38 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Received advert with higher priority 100, ours 98
Jul 23 13:51:38 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Entering BACKUP STATE
Jul 23 13:51:38 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) removing protocol VIPs.
Jul 23 13:51:38 localhost avahi-daemon[799]: Withdrawing address record for 192.168.12.130 on ens33.

如果我们再将127的keepalived关闭,查看128的日志就会看到,128就会再次变为master

Jul 23 14:06:45 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul 23 14:06:46 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul 23 14:06:46 localhost Keepalived_vrrp[11264]: VRRP_Instance(VI_1) setting protocol VIPs.

Keepalived+Nginx实现高可用

基于上述示例我们了解Keepalived是如何结合VRRP实现高可用的,所以这里我们就结合nginx实现代理服务器的高可用架构。

在此之前我们首先关闭selinux:

 setenforce 0

然后编写脚本,注意,该脚本权限最好是755权限,否则keepalived会警告

vim /usr/local/nginx/sbin/check.sh 

粘贴下方内容,该脚本大意是定时检测本机nginx进程清空,若挂了则杀掉keepalived(这个脚本只是示例,读者可以按需编写)


#!/bin/bash
/usr/bin/curl 127.0.0.1:80 &>/dev/null
if [ $? -ne 0 ]
then
  systemctl stop keepalived
fi


完成后我们需要修改keepalived.conf配置,以127服务器为例,首先添加如下两句,确保脚本可以被执行

script_user root
enable_script_security

然后在配置vrrp_script 脚本模块(注意花括号要换行,不然会报错),最后在vrrp实例中使用track_script 引用该脚本即可

global_defs  {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc


}

# 确保脚本可以被执行

script_user root
enable_script_security


notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.12.127 #本机ip地址
smtp_connect_timeout 30
router_id LVS_DEVEL # 本机设备名称,可使用命令 vim /etc/hosts 添加一行 127.0.0.1 LVS_DEVEL 完成主机id配置
}


# 配置脚本路径和执行间隔
vrrp_script chk_http_port
{
script "/usr/local/nginx/sbin/check.sh" # 检查当前服务器是否存货的脚本路径
interval 2 #(检测脚本执行的间隔)
weight 2
}


vrrp_instance VI_1 {
state MASTER # 备份服务器上将 MASTER 改为 BACKUP
interface ens33 //网卡
virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同
priority 100
 unicast_src_ip  192.168.12.127    #本地IP地址
    unicast_peer {
                  192.168.12.128  #对端IP地址,此地址一定不能忘记
                }


# 引入上文配置的脚本模块的名字即可
track_script {
        chk_http_port
}
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.12.130
}
}

修改127、128nginx测试网页,以128为例,可以看到我们的测试页面内容是Welcome to nginx(128)!

<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx(128)!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

启动128的nginx服务器和keepalived服务器

/usr/local/nginx/sbin/nginx
systemctl restart keepalived

可以看到此时虚拟地址130看到的是128的nginx网页

在这里插入图片描述

随后我们启动127抢占查看浏览器得到的网页

/usr/local/nginx/sbin/nginx
systemctl restart keepalived

此时页面就变为127的网页了:

在这里插入图片描述

我们再关闭127服务器看看128会不会变master以确认高可用架构是否符合预期:

kill -9 $(ps aux | grep 'nginx' | grep -v grep | tr -s ' '| cut -d ' ' -f 2)

此时浏览器键入130,就会再次看到128服务器的页面:

在这里插入图片描述

查看日志也发现128服务器监听到127服务器挂了立刻抢占了master,自此我们的nginx高可用配置算是成功了:

在这里插入图片描述

小结

文章中涉及高可用实践,在学习过程中使用的材料出现很多问题,导致高可用ip漂移无法实现,对于技术性的问题,技术者一定要学会耐心,且不可急躁,善于通过日志抓取关键词,并给予自己的知识积累或者搜索引擎搜索并解决问题。
例如笔者配置高可用时,遇到脚本权限警告,于是便查看check.sh的脚本权限是777,结合日志内容说权限有问题,大概推测是777过于开放,于是使用经验猜测将权限改为755解决警告。
但是脚本仍然没有执行,查看日志报了systemctl无权限,大概推测是脚本无系统之类执行权限,遂抓着关键词去搜索引擎找到合适的配置解决问题,完成高可用配置。
总的来说,技术人面对日常开发问题,一定不要急躁善于根据关键词推测可能的原因,在基于已有的知识积累和搜索引擎去解决问题并加以记录。

参考资料

keepalived之vrrp_script详解:https://www.cnblogs.com/arjenlee/p/9258188.html

keepalived之vrrp_script检测脚本权限问题:https://blog.csdn.net/weixin_34273481/article/details/93110814

解决: keepalived配置了 track_scripty以后不管用:https://blog.csdn.net/zhmailm/article/details/81905739

Linux中关闭SELinux的方法:https://blog.csdn.net/akipa11/article/details/81415209

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shark-chili

您的鼓励将是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值