Nginx+keepalived 高可用双机热备(主从模式/双主模式)

基础介绍

负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的!做好负载均衡架构,可以实现故障转移和高可用环境,避免单点故障,保证网站健康持续运行。

关于负载均衡介绍,可以参考:linux负载均衡总结性说明(四层负载/七层负载)

由于业务扩展,网站的访问量不断加大,负载越来越高。现需要在web前端放置nginx负载均衡,同时结合keepalived对前端nginx实现HA高可用。

1: nginx进程 基于Master+Slave(worker)多进程模型,自身具有非常稳定的子进程管理功能。

在Master进程分配模式下,Master进程永远不进行业务处理,只是进行任务分发,从而达到Master进程的存活高可靠性,Slave(worker)进程所有的业务信号都 由主进程发出,Slave(worker)进程所有的超时任务都会被Master中止,属于非阻塞式任务模型。

2: Keepalived 是Linux下面实现VRRP备份路由的高可靠性运行件。基于Keepalived设计的服务模式能够真正做到主服务器和备份服务器故障时IP瞬间无缝交接。二者结合,可以构架出比较稳定的软件LB方案。

Keepalived介绍:
Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似的工具还有heartbeat、corosync、pacemaker。但是它一般不会单独出现,而是与其它负载均衡技术(如lvs、haproxy、nginx)一起工作来达到集群的高可用。

keepalived可以认为是VRRP协议在Linux上的实现,主要有三个模块,分别是core、check和vrrp。
core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。
check负责健康检查,包括常见的各种检查方式。
vrrp模块是来实现VRRP协议的。

VRRP协议:
VRRP全称 Virtual Router Redundancy Protocol,即 虚拟路由冗余协议。可以认为它是实现路由器高可用的容错协议,即将N台提供相同功能的路由器组成一个路由器组(RouterGroup),这个组里面有一个master和多个backup,但在外界看来就像一台一样,构成虚拟路由器,拥有一个虚拟IP(vip,也就是路由器所在局域网内其他机器的默认路由),占有这个IP的master实际负责ARP相应和转发IP数据包,组中的其它路由器作为备份的角色处于待命状态。master会发组播消息,当backup在超时时间内收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master,保证路由器的高可用。

在VRRP协议实现里,虚拟路由器使用 00-00-5E-00-01-XX 作为虚拟MAC地址,XX就是唯一的 VRID (VirtualRouter IDentifier),这个地址同一时间只有一个物理路由器占用。在虚拟路由器里面的物理路由器组里面通过多播IP地址224.0.0.18 来定时发送通告消息。每个Router都有一个 1-255 之间的优先级别,级别最高的(highest priority)将成为主控(master)路由器。通过降低master的优先权可以让处于backup状态的路由器抢占(pro-empt)主路由器的状态,两个backup优先级相同的IP地址较大者为master,接管虚拟IP。

nginx 双机高可用一般是通过虚拟IP(飘移IP)方法来实现的,基于Linux/Unix的IP别名技术。

双机高可用方法目前分为两种:

1)Nginx+keepalived 双机主从模式:即前端使用两台服务器,一台主服务器和一台热备服务器,正常情况下,主服务器绑定一个公网虚拟IP,提供负载均衡服务,热备服务器处于空闲状态;当主服务器发生故障时,热备服务器接管主服务器的公网虚拟IP,提供负载均衡服务;但是热备服务器在主机器不出现故障的时候,永远处于浪费状态,对于服务器不多的网站,该方案不经济实惠。

2)Nginx+keepalived 双机主主模式:即前端使用两台负载均衡服务器,互为主备,且都处于活动状态,同时各自绑定一个公网虚拟IP,提供负载均衡服务;当其中一台发生故障时,另一台接管发生故障服务器的公网虚拟IP(这时由非故障机器一台负担所有的请求)。这种方案,经济实惠,非常适合于当前架构环境。

今天在此分享下,Nginx+keepalived 实现高可用负载均衡的两种模式:

一:Nginx+keepalived 双机 主从模式

1.环境介绍

操作系统:centos6.8  64位
centos6-1       192.168.139.130         nginx+keepalived-master
centos6-2       192.168.139.129         nginx+keepalived-backup
VIP:            192.168.139.200       //负载均衡器上配置的域名都解析到这个VIP上

2.环境安装

在安装nginx和keepalive服务(master和backup两台服务器上的安装操作完全一样)

安装依赖,关闭selinux(记得重启)

临时关闭:

[root@localhost ~]# getenforce Enforcing

[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforce
Permissive

永久关闭:

[root@localhost ~]# vim /etc/sysconfig/selinux

SELINUX=enforcing 改为 SELINUX=disabled

重启服务reboot
[root@centos6-1 ~]# yum -y install gcc pcre-devel zlib-devel openssl-devel
[root@centos6-1 ~]# service iptables stop

下载最新安装包

[root@centos6-1 ~]# cd /usr/local/src/
[root@centos6-1 src]# wget https://nginx.org/download/nginx-1.9.9.tar.gz
[root@centos6-1 src]# wget http://www.keepalived.org/software/keepalived-2.0.7.tar.gz

安装nginx

[root@centos6-1 src]# tar -zxvf nginx-1.9.9.tar.gz
[root@centos6-1 src]# cd nginx-1.9.9
[root@centos6-1 nginx-1.9.9]# useradd www -M -s /sbin/nologin
[root@centos6-1 nginx-1.9.9]# vim auto/cc/gcc

小插曲 注:
1.添加www用户,其中 -M参数表示不添加用户家目录,-s参数表示指定shell类型
2. vim auto/cc/gcc 文件,将这句“#CFLAGS="$CFLAGS -g“”注释掉 取消Debug编译模式 大概在179行

继续安装nginx

[root@centos6-1 nginx-1.9.9]#  ./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre
[root@centos6-1 nginx-1.9.9]# make && make install

安装keepalived

[root@centos6-1 nginx-1.9.9]# cd ..
[root@centos6-1 src]# ll
total 1728
-rw-r--r--. 1 root root 873480 Aug 23 23:18 keepalived-2.0.7.tar.gz
drwxr-xr-x. 9 1001 1001   4096 Aug 28 18:26 nginx-1.9.9
-rw-r--r--. 1 root root 887908 Dec  9  2015 nginx-1.9.9.tar.gz
[root@centos6-1 src]# tar -zxvf keepalived-2.0.7.tar.gz 
[root@centos6-1 src]# cd keepalived-2.0.7
[root@centos6-1 keepalived-2.0.7]# ./configure

小插曲 注:

编译提示警告如上,解决如下:

[root@centos6-1 keepalived-2.0.7]# yum -y install libnl libnl-devel
[root@centos6-1 keepalived-2.0.7]# yum install -y libnfnetlink-devel

继续安装 keepalived,这里更换版本为keepalived-1.3.2.tar.gz, 再次编译

小插曲: 在keepalived-2.0.7版本,无论是编译,还是make
都会报错,如下,因此更换版本。估计是keepalived-1.4.5直接跳到2.0版本改动的问题

[root@centos6-1 src]#  wget http://www.keepalived.org/software/keepalived-1.3.2.tar.gz
 [root@centos6-1 src]# tar -zxvf keepalived-1.3.2.tar.gz 
 [root@centos6-1 src]# cd keepalived-1.3.2
 [root@centos6-1 keepalived-1.3.2]# ./configure
 [root@centos6-1 keepalived-1.3.2]# make && make install
 [root@centos6-1 keepalived-1.3.2]# cp /usr/local/src/keepalived-1.3.2/keepalived/etc/init.d/keepalived /etc/rc.d/init.d/
 [root@centos6-1 keepalived-1.3.2]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
 [root@centos6-1 keepalived-1.3.2]# mkdir /etc/keepalived
 [root@centos6-1 keepalived-1.3.2]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
 [root@centos6-1 keepalived-1.3.2]# cp /usr/local/sbin/keepalived /usr/sbin/
 #将nginx和keepalive服务加入开机启动服务
 [root@centos6-1 keepalived-1.3.2]# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
 [root@centos6-1 keepalived-1.3.2]# echo "/etc/init.d/keepalived start" >> /etc/rc.local

未完继续

https://blog.csdn.net/u012599988/article/details/82152224

原文地址:https://www.cnblogs.com/sandshell/p/11842400.html