6
0

Keepalived

2026-09-14
Keepalived

Keepalived是Linux下一个轻量级的高可用解决方案,它与HACMP、RoseHA实现的功能类似,都可以实现服务或者网络的高可用,但是又有差别:HACMP是一个专业的、功能完善的高可用软件,它提供了HA软件所需的基本功能,比如心跳检测和资源接管,监测集群中的系统服务,在群集节点间转移共享IP地址的所有者等,HACMP功能强大,但是部署和使用相对比较麻烦,同时也是商业化软件;与HACMP相比,Keepalived主要是通过虚拟路由冗余来实现高可用功能,虽然它没有HACMP功能强大,但Keepalived部署和使用非常简单,所有配置只需一个配置文件即可完成。

Keepalived起初是为LVS设计的,专门用来监控集群系统中各个服务节点的状态。它根据layer3, 4 & 5交换机制检测每个服务节点的状态,如果某个服务节点出现异常,或工作出现故障,Keepalived将检测到,并将出现故障的服务节点从集群系统中剔除,而在故障节点恢复正常后,Keepalived又可以自动将此服务节点重新加入到服务器集群中,这些工作全部自动完成,不需要人工干涉,需要人工完成的只是修复出现故障的服务节点。

Keepalived后来又加入了VRRP的功能,VRRP是Virtual Router Redundancy Protocol(虚拟路由器冗余协议)的缩写,它出现的目的是为了解决静态路由出现的单点故障问题,通过VRRP可以实现网络不间断地、稳定地运行。因此,Keepalived一方面具有服务器状态检测和故障隔离功能,另一方面也具有HA cluster功能。

VRRP协议与工作原理

对于网络熟悉的应该了解VRRP,网络环境中,主机之间的通信都是通过配置静态路由(默认网关)完成的,而主机之间的路由器一旦出现故障,通信就会失败,因此,在这种通信模式中,路由器就成了一个单点瓶颈,引入了VRRP协议就是解决这个问题。它是一种主备模式的协议,通过VRRP可以在网络发生故障时透明地进行设备切换而不影响主机间的数据通信。

VRRP可以将两台或多台物理路由器设备虚拟成一个虚拟路由器,这个虚拟路由器通过虚拟IP(一个或多个)对外提供服务,而在虚拟路由器内部,是多个物理路由器协同工作,同一时间只有一台物理路由器对外提供服务,这台物理路由器被称为主路由器(处于MASTER角色)。一般情况下MASTER由选举算法产生,它拥有对外服务的虚拟IP,提供各种网络功能,如ARP请求、ICMP、数据转发等。而其他物理路由器不拥有对外的虚拟IP,也不提供对外网络功能,仅仅接收MASTER的VRRP状态通告信息,这些路由器被统称为备份路由器(处于BACKUP角色)。当主路由器失效时,处于BACKUP角色的备份路由器将重新进行选举,产生一个新的主路由器进入MASTER角色继续提供对外服务,整个切换过程对用户来说完全透明。

在一个虚拟路由器中,只有处于MASTER角色的路由器会一直发送VRRP数据包,处于BACKUP角色的路由器只接收MASTER发过来的报文信息,用来监控MASTER运行状态,因此,不会发生MASTER抢占的现象,除非它的优先级更高。而当MASTER不可用时,BACKUP也就无法收到MASTER发过来的报文信息,于是就认定MASTER出现故障,接着多台BACKUP就会进行选举,优先级最高的BACKUP将成为新的MASTER,这种选举并进行角色切换的过程非常快,也就保证了服务的持续可用性。

Keepalived的体系结构

Keepalived是一个高度模块化的软件,结构简单,但扩展性很强,下图是官方给出的Keepalived体系结构拓扑图:

Keepalived的体系结构从整体上分为两层,分别是用户空间层(User Space)和内核空间层(Kernel Space)。Keepalived 运行于用户空间,通过接口调用内核 IPVS 与 Netlink 子系统实现高可用与负载均衡能力Keepalived;Control Plane 配置文件解析器负责读取解析 keepalived.conf 配置文件;Scheduler‑I/O Multiplexer提供 IO 多路复用调度,分离 VRRP、健康检查等子进程,保障 VRRP 时间精度,Memory Mngt负责统一内存管理;核心组件中,Checkers提供 TCP/HTTP/SSL 等多种方式对后端 Real‑Server 做服务健康检测;VRRP Stack实现 VRRP 协议,完成主备节点选举、虚拟 IP (VIP) 的通告与故障转移;IPVS wrapper把健康检查结果转化规则,下发到内核 IPVS 模块实现 LVS 负载均衡;Netlink Reflector调用内核 Netlink 接口管理网卡 VIP、路由;WatchDog守护监控内部子进程,进程异常时执行恢复;System call模块用于 VRRP 状态切换时执行外部自定义脚本;SMTP模块实现故障事件邮件告警通知,各个模块互相协作,完成负载均衡后端探活、VRRP 主备故障转移、异常告警、进程自我守护整套高可用逻辑。

Keepalived的安装与全局配置

keepalived的安装非常简单,以操作系统环境RHEL发行版为例,建议通过yum方式直接安装:

[root@keepalived-master app]# yum install keepalived
如果需要lvs功能,还需要安装ipvs模块:
[root@keepalived-master app]# yum install ipvsadm

也可以通过源码安装,过程如下:

[root@keepalived-master app]# yum install -y gcc gcc-c++ wget popt-devel openssl openssl-devel
[root@keepalived-master app]# yum install -y  libnl3 libnl3-devel 
[ [root@keepalived-master app]# tar zxvf keepalived-2.3.1.tar.gz
[root@keepalived-master app]# cd keepalived-2.3.1
[root@keepalived-master keepalived-2.3.1]# ./configure   --sysconf=/etc
[root@keepalived-master keepalived-2.3.1]#  make
[root@keepalived-master keepalived-2.3.1]#  make install
[root@keepalived-master keepalived-2.3.1]#  systemctl enable keepalived

进入keepalived的配置过程。默认模板配置文件位于/etc/keepalived/keepalived.conf.sample

Keepalived的配置文件都是以块(block)的形式组织的,每个块的内容都包含在{}中,以“#”和“!”开头的行都是注释。全局配置就是对整个Keepalived都生效的配置,基本内容如下:

! Configuration File for keepalived
global_defs  {
   notification_email {
     dba.gao@gmail.com
     ixdba@163.com
   }
   notification_email_from Keepalived@localhost
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL	 
}

全局配置以“global_defs”作为标识,在“global_defs”区域内的都是全局配置选项,其中:

notification_email用于设置报警邮件地址,可以设置多个,每行一个。注意,如果要开启邮件报警,需要开启本机的Sendmail服务。

notification_email_from用于设置邮件的发送地址。

smtp_server用于设置邮件的smtp server地址。

smtp_connect_timeout用于设置连接smtp server的超时时间。

router_id表示运行Keepalived服务器的一个标识,是发邮件时显示在邮件主题中的信息。

Keepalived的VRRPD配置

VRRPD配置是Keepalived所有配置的核心,主要用来实现Keepalived的高可用功能。下面进入VRRP实例的配置,也就是配置Keepalived的高可用功能。VRRP实例段主要用来配置节点角色(主或从)、实例绑定的网络接口、节点间验证机制、集群服务IP等。下面是实例VI_1的一个配置样例。

vrrp_instance VI_1 {
    state MASTER		
    interface eth0		
    virtual_router_id  151	
    priority 100	
    advert_int 1  	
 track_interface {
	eth0 
	eth1
	}
    authentication {
        auth_type PASS
        auth_pass qwaszx
    }
    virtual_ipaddress {		
        192.168.200.16
        192.168.200.17 dev eth1
        192.168.200.18 dev eth2
    }
	nopreempt 
	preemtp_delay  300
notify_master "/etc/keepalived/master.sh "
    notify_backup "/etc/keepalived/backup.sh"
    notify_fault "/etc/keepalived/fault.sh"
}

以上VRRP配置以“vrrp_instance”作为标识,在这个实例中包含了若干配置选项,分别介绍如下:

vrrp_instance是VRRP实例开始的标识,后跟VRRP实例名称。

state用于指定Keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器。

interface用于指定HA监测网络的接口。

virtual_router_id是虚拟路由标识,这个标识是一个数字,同一个vrrp实例使用唯一的标识,即在同一个vrrp_instance下,MASTER和BACKUP必须是一致的。

priority用于定义节点优先级,数字越大表示节点的优先级就越高。在一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级。

advert_int用于设定MASTER与BACKUP主机之间同步检查的时间间隔,单位是秒。

track_interface用于设置一些额外的网络监控接口,其中任何一个网络接口出现故障,Keepalived都会进入FAULT状态。

authentication用于设定节点间通信验证类型和密码,验证类型主要有PASS和AH两种,在一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信。

virtual_ipaddress用于设置虚拟IP地址(VIP),又叫做漂移IP地址。可以设置多个虚拟IP地址,每行一个。之所以称为漂移IP地址,是因为Keepalived切换到Master状态时,这个IP地址会自动添加到系统中,而切换到BACKUP状态时,这些IP又会自动从系统中删除。Keepalived通过“ip address add”命令的形式将VIP添加进系统中。要查看系统中添加的VIP地址,可以通过“ip add”命令实现。“virtual_ipaddress”段中添加的IP形式可以多种多样,例如可以写成 “192.168.16.189/24 dev eth1” 这样的形式,而Keepalived会使用IP命令“ip addr add 192.168.16.189/24 dev eth1”将IP信息添加到系统中。因此,这里的配置规则和IP命令的使用规则是一致的。

nopreempt设置的是高可用集群中的不抢占功能。在一个HA Cluster中,如果主节点死机了,备用节点会进行接管,主节点再次正常启动后一般会自动接管服务。这种来回切换的操作,对于实时性和稳定性要求不高的业务系统来说,还是可以接受的,而对于稳定性和实时性要求很高的业务系统来说,不建议来回切换,毕竟服务的切换存在一定的风险和不稳定性,在这种情况下,就需要设置nopreempt这个选项了。设置nopreempt可以实现主节点故障恢复后不再切回到主节点,让服务一直在备用节点工作,直到备用节点出现故障才会进行切换。在使用不抢占时,只能在“state”状态为“BACKUP”的节点上设置,而且这个节点的优先级必须高于其他节点。

preemtp_delay用于设置切换的延时时间,单位是秒。有时候系统启动或重启之后网络需要经过一段时间才能正常工作,在这种情况下进行发生主备切换是没必要的,此选项就是用来设置这种情况发生的时间间隔。在此时间内发生的故障将不会进行切换,而如果超过“preemtp_delay”指定的时间,并且网络状态异常,那么才开始进行主备切换。

notify_master:指定当Keepalived进入Master状态时要执行的脚本,这个脚本可以是一个状态报警脚本,也可以是一个服务管理脚本。Keepalived允许脚本传入参数,因此灵活性很强。

notify_backup:指定当Keepalived进入Backup状态时要执行的脚本,同理,这个脚本可以是一个状态报警脚本,也可以是一个服务管理脚本。

notify_fault:指定当Keepalived进入Fault状态时要执行的脚本,脚本功能与前两个类似。

notify_stop:指定当Keepalived程序终止时需要执行的脚本。

Keepalived的LVS配置

由于Keepalived属于LVS的扩展项目,因此, Keepalived可以与LVS无缝整合,轻松搭建一套高性能的负载均衡集群系统。下面介绍下Keepalived配置文件中关于LVS配置段的配置方法。

LVS段的配置以“virtual_server”作为开始标识,此段内容有两部分组成,分别是real_server段和健康检测段。下面是virtual_server段常用选项的一个配置示例:

virtual_server 192.168.12.200 80 {        
    delay_loop 6
lb_algo rr	
lb_kind DR 
persistence_timeout 50
    persistence_granularity  <NETMASK>
protocol TCP
sorry_server <IPADDR>  <PORT>。

下面介绍每个选项的含义。

virtual_server:设置虚拟服务器的开始,后面跟虚拟IP地址和服务端口,IP与端口之间用空格隔开。

delay_loop:设置健康检查的时间间隔,单位是秒。

lb_algo:设置负载调度算法,可用的调度算法有rr、wrr、lc、wlc、lblc、sh、dh等,常用的算法有rr和wlc。

lb_kind:设置LVS实现负载均衡的机制,有NAT、TUN和DR三个模式可选。

persistence_timeout:会话保持时间,单位是秒。这个选项对动态网页是非常有用的,为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能,用户的请求会一直分发到某个服务节点,直到超过这个会话的保持时间。需要注意的是,这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态页面时,如果在50秒内没有执行任何操作,那么接下来的操作会被分发到另外的节点,但是如果用户一直在操作动态页面,则不受50秒的时间限制。

persistence_granularity:此选项是配合persistence_timeout的,后面跟的值是子网掩码,表示持久连接的粒度。默认是255.255.255.255,也就是一个单独的客户端IP。如果将掩码修改为255.255.255.0,那么客户端IP所在的整个网段的请求都会分配到同一个real server上。

protocol:指定转发协议类型,有TCP和UDP两种可选。

ha_suspend:节点状态从Master到Backup切换时,暂不启用real server节点的健康检查。

sorry_server:相当于一个备用节点,在所有real server失效后,这个备用节点会启用。

下面是real_server段的一个配置示例:

real_server 192.168.12.132 80 {
weight 3
inhibit_on_failure
notify_up  <STRING> | <QUOTED-STRING>
notify_down <STRING> | <QUOTED-STRING>
	}

下面介绍每个选项的含义。

real_server:是real_server段开始的标识,用来指定real server节点,后面跟的是real server的真实IP地址和端口,IP与端口之间用空格隔开。

weight:用来配置real server节点的权值。权值大小用数字表示,数字越大,权值越高。设置权值的大小可以为不同性能的服务器分配不同的负载,为性能高的服务器设置较高的权值,而为性能较低的服务器设置相对较低的权值,这样才能合理地利用和分配了系统资源。

inhibit_on_failure:表示在检测到real server节点失效后,把它的“weight”值设置为0,而不是从IPVS中删除。

notify_up:此选项与上面介绍过的notify_maser有相同的功能,后跟一个脚本,表示在检测到real server节点服务处于UP状态后执行的脚本。

notify_down:表示在检测到real server节点服务处于DOWN状态后执行的脚本。

健康检测段允许多种检查方式,常见的有HTTP_GET、SSL_GET、TCP_CHECK、SMTP_CHECK、MISC_CHECK。首先看TCP_CHECK检测方式示例:

TCP_CHECK  {
			connect_port 80
            connect_timeout  3 
            nb_get_retry  3 
            delay_before_retry  3 
        } 

下面介绍每个选项的含义介。

connect_port:健康检查的端口,如果无指定,默认是real_server指定的端口。

connect_timeout:表示无响应超时时间,单位是秒,这里是3秒超时。

nb_get_retry:表示重试次数,这里是3次。

delay_before_retry:表示重试间隔,这里是间隔3秒。

下面是HTTP_GET和SSL_GET检测方式的示例:

HTTP_GET |SSL_GET
{
url  {         
path  /index.html
digest  e6c271eb5f017f280cf97ec2f51b02d3
status_code   200 
}
connect_port 80
bindto  192.168.12.80	
connect_timeout  3
nb_get_retry  3 
delay_before_retry  2 
} 

下面介绍每个选项的含义。

url:用来指定HTTP/SSL检查的URL信息,可以指定多个URL。

path:后跟详细的URL路径。

digest:SSL检查后的摘要信息,这些摘要信息可以通过genhash命令工具获取。例如:genhash -s 192.168.12.80 -p 80 -u /index.html。

status_code:指定HTTP检查返回正常状态码的类型,一般是200。

bindto:表示通过此地址来发送请求对服务器进行健康检查。

下面是MISC_CHECK检测方式的示例:

MISC_CHECK
{
misc_path  /usr/local/bin/script.sh
misc_timeout  5
! misc_dynamic
}

MISC健康检查方式可以通过执行一个外部程序来判断real server节点的服务状态,使用非常灵活。以下是常用的几个选项的含义。

misc_path:用来指定一个外部程序或者一个脚本路径。

misc_timeout:设定执行脚本的超时时间。

misc_dynamic:表示是否启用动态调整real server节点权重,“!misc_dynamic”表示不启用,相反则表示启用。在启用这功能后,Keepalived的healthchecker进程将通过退出状态码来动态调整real server节点的“weight”值,如果返回状态码为0,表示健康检查正常,real server节点权重保持不变;如果返回状态码为1,表示健康检查失败,那么就将real server节点权重设置为0;如果返回状态码为2~255之间任意数值,表示健康检查正常,但real server节点的权重将被设置为返回状态码减2,例如返回状态码为10,real server节点权重将被设置为8(10-2)。

配置完成,在默认情况下,Keepalived在启动时会查找/etc/Keepalived/Keepalived.conf配置文件,如果配置文件放在其他路径下,通过“Keepalived -f”参数指定配置文件的路径即可。

PS: !!!!在配置Keepalived.conf时,需要特别注意配置文件的语法格式,因为Keepalived在启动时并不检测配置文件的正确性,即使没有配置文件,Keepalived也照样能够启动,所以一定要保证配置文件正确。!!!!特别注意空格和花括号。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!