1. 简介
Keepalived软件通过VRRP协议实现高可用的功能,VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。它将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和N-1个backup，master上面有一个对外提供服务的vip，master会发送（多播的方式）心跳消息，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master，来接管旧Master节点的IP资源及服务；而当Master节点恢复时，Backup节点又会释放Master节点故障时自身接管的IP资源及服务，恢复到原来的Backup角色。从而解决静态路由单点故障问题。
Keepalived工作在TCP/IP参考模型中的网络层，传输层和应用层。
1.1 核心模块
core模块：为keepalived的核心组件，负责主进程的启动、维护以及全局配置文件的加载和解析；
check： 负责健康检查；
VRRP模块：是来实现VRRP协议的。
1.2 体系结构
SchedulerI/OMultiplexer是一个I/O复用分发调度器，它负载安排Keepalived所有内部的任务请求； Memory Mngt是一个内存管理机制，这个框架提供了访问内存的一些通用方法； Control Plane 是keepalived的控制版面，可以实现对配置文件编译和解析； Core componets 这部分主要包含了5个部分； Watchdog：是计算机可靠领域中极为简单又非常有效的检测工具，Keepalived正是通过它监控Checkers和VRRP进程的。 Checkers:这是Keepalived最基础的功能，也是最主要的功能，可以实现对服务器运行状态检测和故障隔离。 VRRP Stack:这是keepalived后来引用VRRP功能，可以实现HA集群中失败切换功能。负责负载均衡器之间的失败切换FailOver； IPVS wrapper:这个是IPVS功能的一个实现，IPVSwarrper模块将可以设置好的IPVS规则发送的内核空间并且提供给IPVS模块，最终实现IPVS模块的负载功能。 Netlink Reflector：用来实现高可用集群Failover时虚拟IP(VIP)的设置和切换
2. 软件安装
2.1 源码编译安装
# 安装系统依赖软件包，详见源码包中INSTALL文件
# 检查依赖包
rpm -q --queryformat "%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})
" make autoconf automake openssl-devel libnl3-devel ipset-devel iptables-devel
file-devel net-snmp-devel glib2-devel json-c-devel pcre2-devel libnftnl-devel libmnl-devel
python-sphinx epel-release python-sphinx_rtd_theme latexmk
texlive texlive-titlesec texlive-framed texlive-threeparttable texlive-wrapfig texlive-multirow
libnl libnl-devel libnfnetlink-devel# yum 安装软件包 yum -y install make autoconf automake openssl-devel libnl3-devel ipset-devel iptables-devel file-devel net-snmp-devel glib2-devel json-c-devel pcre2-devel libnftnl-devel libmnl-devel python-sphinx epel-release python-sphinx_rtd_theme latexmk texlive texlive-titlesec texlive-framed texlive-threeparttable texlive-wrapfig texlive-multirow libnl libnl-devel libnfnetlink-devel # 解压 cd /ups/soft tar -xf keepalived-2.0.18.tar.gz or curl --progress http://keepalived.org/software/keepalived-2.0.18.tar.gz | tar xz # 编译安装 cd keepalived-2.0.18 ./configure --prefix=/ups/app/mysql/keepalived or ./configure --prefix=/ups/app/mysql/keepalived --with-init=systemd <<<<<<-- rhel7 make --jobs $(grep -ci processor /proc/cpuinfo) && make --jobs $(grep -ci processor /proc/cpuinfo) install # 配置服务 -- rhel6 mkdir -p /etc/keepalived cp /ups/app/mysql/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ cp /ups/soft/keepalived-2.0.18/keepalived/etc/init.d/keepalived /etc/init.d/ chmod +x /etc/init.d/keepalived cp /ups/app/mysql/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived cp /ups/app/mysql/keepalived/sbin/keepalived /usr/sbin/ -- 参考附录keepalived.conf配置 chkconfig keepalived on -- rhel7 mkdir -p /etc/keepalived cp /ups/app/mysql/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ cp /ups/app/mysql/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived -- 可选 cp /ups/soft/keepalived-2.0.18/keepalived/keepalived.service /usr/lib/systemd/system/keepalived.service systemctl enable keepalived.service systemctl start keepalived.service systemctl status keepalived.service # 配置keepalived 日志 vi /etc/sysconfig/keepalived 修改 KEEPALIVED_OPTIONS="-D -d -S 0" vi /etc/rsyslog.conf local0.* /var/log/keepalived.log or echo 'local0.* /var/log/keepalived.log' >>/etc/rsyslog.conf
2.2 配置文件说明
keepalived服务安装完成之后，后面的主要工作就是在keepalived.conf文件中配置HA和负载均衡。一个功能比较完整的常用的keepalived配置文件，主要包含三块：全局定义块、VRRP实例定义块和虚拟服务器定义块。全局定义块是必须的，如果keepalived只用来做ha，虚拟服务器是可选的。下面是一个功能比较完整的配置文件模板
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived # 这部分配置好了就可以启动，Keepalived就开始互相监听Keepalived服务了。
# 全局配置 ，主要是通知机制及静态路由配置，还可以定义静态路由，但非必要，所以这里没给默认值
global_defs {
notification_email { #收件人
#acassen@firewall.loc # 这三个均为收件人
#failover@firewall.loc
#sysadmin@firewall.loc
}
# notification_email_from Alexandre.Cassen@firewall.loc # 发件人
# smtp_server 127.0.0.1 # 发件服务器, 需要系统开启sendmail服务
# smtp_connect_timeout 30 # 发件连接超时
router_id LVS_PG_HA1 # 路由器标示，随便给一个字符串
# lvs_id LVS_PG1 # lvs负载均衡器标识，在一个网络内，它的值应该是唯一的。
}
# VRRP 实例定义块
vrrp_sync_group VG1 { # 同步vrrp级，用于确定失败切换（FailOver）包含的路由实例个数。在有2个负载均衡器的场景，当某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例
group { # 至少要包含一个vrrp实例，vrrp实例名称必须和vrrp_instance定义的一致
VI_1
}
notify_master /etc/keepalived/script_master.sh
# (or notify_master “ /path_to_script/script_master.sh <arg_list>”)
# notify_backup /path_to_script/script_backup.sh
# (or notify_backup “/path_to_script/script_backup.sh <arg_list>”)
# notify_fault /path_to_script/script_fault.sh
# (or notify_fault “ /path_to_script/script_fault.sh <arg_list>”)
}
# 配置vrrpd 定义虚拟路由器 VI_1 虚拟路由的标示名称，随意取名 state MASTER
vrrp_instance VI_1 { # vrrp实例名
state MASTER # MASTER|BACKUP
virtual_router_id 51 # 虚拟路由ID，每个虚拟路由都需要有id号，vmac的最后一段地址，最大255,一套Keepalived 应该是相同的id
interface ens32 # 对外提供服务的网卡接口，即VIP绑定的网卡接口
mcast_src_ip 127.0.0.1 # 指定VRRP播发IP头的SRC IP地址值（本机IP地址）
priority 1000 # 在VRRP路由器中指定实例优先级,取值范围0～254,高的为master，高的会在恢复的时候抢过来
advert_int 1 # MASTER与BACKUP节点间同步检查的时间间隔，单位为秒
nopreempt # 禁止抢占服务。默认情况，当MASTER服务挂掉之后，BACKUP自动升级为MASTER并接替它的任务，当MASTER服务恢复后，升级为MASTER的BACKUP服务又自动降为BACKUP，把工作权交给原MASTER。当配置了nopreempt，MASTER从挂掉到恢复，不再将服务抢占过来。
smtp_alert # 有故障时是否激活邮件通知
lvs_sync_daemon_interface ens32 # 负载均衡器之间的监控接口,类似于 HA HeartBeat 的心跳线。但它的机制优于 Heartbeat，因为它没有“裂脑”这个问题,它是以优先级这个机制来规避这个麻烦的。在 DR 模式中，lvs_sync_daemon_inteface与服务接口interface使用同一个网络接口
authentication { # 认证机制
auth_type PASS # 明文机制,或者ssl认证 (PASS|AH)
auth_pass 111111 # 认证密码
}
virtual_ipaddress { # VIP 地址, 每个IP占一行
# Block limited to 20 IP addresses @IP
192.168.10.202
}
}
# 虚拟服务器定义块
virtual_server 192.168.10.202 5432 { # virtual_server (@IP PORT)|(fwmark num)
delay_loop 2 # 健康检查时间间隔，单位：秒
lb_algo rr # rr|wrr|lc|wlc|sh|dh|lblc 负载均衡调度算法，互联网应用常用方式为wlc或rr
lb_kind DR # NAT|DR|TUN 负载均衡转发规则,一般使用路由（DR）转发规则
persistence_timeout 50 # http服务会话保持时间，单位：秒
protocol TCP # TCP|UDP 转发协议
real_server 192.168.10.181 5432 { # 真实服务器IP和端口，可以定义多个
weight 1 # 负载权重，值越大，转发的优先级越高
notify_down /etc/keepalived/postgresql11.sh # 服务停止后执行的脚本
TCP_CHECK { # 服务有效性检测
connect_port 5432 # 服务连接端口
connect_timeout 10 # 服务连接超时时长，单位：秒
nb_get_retry 3 # 服务连接失败重试次数
delay_before_retry 3 # 重试连接间隔，单位：秒
}
}
real_server 192.168.10.182 5432 {
weight 1
notify_down /etc/keepalived/postgresql11.sh
TCP_CHECK {
connect_port 5432
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
}
}
# real_server @IP PORT {
# weight num
# MISC_CHECK {
# misc_path /path_to_script/script.sh(or misc_path “/path_to_script/script.sh <arg_list>”)
# }
# }
# real_server @IP PORT {
# weight num
# HTTP_GET|SSL_GET {
# url {
# # You can add multiple url block path alphanum
# digest alphanum
# }
# connect_port num
# connect_timeout num
# nb_get_retry num
# delay_before_retry num
# }
# }
}
-- 相关脚本
cat >> /etc/keepalived/postgresql11.sh < EOF
#!/bin/sh
systemctl stop keepalived || pkill keepalived
EOF
-- arp需要安装net-tools [yum -y install net-tools ]
cat >> /etc/keepalived/script_master.sh < EOF
#!/bin/bash
VIP=192.168.10.202
GATEWAY=192.168.10.2
ETH_NAME=ens32
/sbin/arping -I ${ETH_NAME} -c 5 -s ${VIP} ${GATEWAY} &>/dev/null
EOF