nginx负载均衡配合keepalived服务案例实战

本实验用4台 centos6 虚拟机，2台做负载均衡，2台做web服务器，都先装上nginx

lb01:192.168.0.235 --主负载均衡器

lb02:192.168.0.236 --备负载均衡器

web1:192.168.0.237

web2:192.168.0.238

VIP:192.168.0.248

一. 在web1和web2上配置基于域名的虚拟主机，以web1为例

1. 配置nginx.conf, 推荐方法 egrep -v "#|^$" nginx.conf.default > nginx.conf生成简洁配置再修改

worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    

    server {
        listen       80;
        server_name  bbs.axinfu.com;
        location / {
            root   html/bbs; #站点目录
            index  index.html index.htm;
        }
        access_log logs/access_bbs.log main; #这里用于测试proxy_set_header X-Forwarded-For $remote_addr命令
    }

    server {
        listen       80;
        server_name  www.axinfu.com;
        location / {
            root   html/www; #站点目录
            index  index.html index.htm;

    }
       access_log logs/access_www.log main;
   }
}

注意

1. 这里有2个虚拟主机，bbs.axinfu.com和www.axinfu.com，这里故意把bbs放在上面，以便测试lb01和lb02上nginx的配置命令proxy_set_header Host $host;

2.类似于$remote_addr(客户端地址)，$host这样的内置变量可参考 http://www.cnphp.info/nginx-embedded-variables-lasted-version.html

2. 在站点目录建立测试文件

我的nginx目录为/usr/local/nginx/，在此目录下新建bbs，www两个目录，都新建index.html，分别写入

hello, web1, i am bbs

hello, web1, i am www

在web2上配置相似，在index.html中分别写入hello, web2, i am bbs/ hello, web2, i am www

3. 检查语法并重启nginx服务

/application/nginx/sbin/nginx -t

/application/nginx/sbin/nginx -s reload

netstat -lntup | grep 80

4. 把域名加入hosts解析，在/etc/hosts写入

192.168.0.237　　bbs.axinfu.com

192.168.0.237　　www.axinfu.com

5. 测试

curl bbs.axinfu.com　　应该返回 hello, web1, i am bbs

curl www.axinfu.com　　应该返回 hello, web1, i am www

二. 在lb01和lb02上配置nginx负载均衡如下，cat nginx.conf

worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    upstream www_server_pools {
        server 192.168.0.237:80 weight=1;
        server 192.168.0.238:80 weight=1;

    }
    server {
        listen       192.168.0.248; #指定监听的VIP
        server_name  www.axinfu.com;
        location / {
            proxy_pass http://www_server_pools;
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $remote_addr;
        }

    }
}

此配置仅代理里www.etiantian.org域名

命令说明

1. proxy_set_header Host $host;

这个命令的作用是识别代理的哪个虚拟主机，这里代理的是www.axinfu.com( server_name写明了)

本实验在web服务器上配置了2个虚拟主机，如果不加这个命令，访问192.168.0.248时就把节点服务器的第一个虚拟主机发给反向代理，也就是bbs.axinfu.com

2. proxy_set_header X-Forwarded-For $remote_addr;

此命令与web1/2服务器上虚拟主机的访问日志有关，也就是 /usr/local/nginx/logs/access_www.log，正常情况下，这个文件最后一个字段应显示访客IP

比如使用192.168.0.230作为客户端进行测试时，不加这个命令第一个字段显示的是反向代理服务器的IP，最后一个字段显示的为"-"，加上上面的命令，日志的最后一个字段显示的是客户端访问IP，”192.168.0.230"

这个命令要在web服务器上开启log_format功能，就是在nginx配置文件中的log_format块加上”http_x_forwarded_for"

3. 如果不要负载均衡，只是需要转发功能。那么删掉upstream代码块，在proxy_pass直接写要转发到的地址就好，比如proxy_pass http://127.0.0.1:9000

三. 在lb01和lb02上配置keepalived服务

1. 在lb01上keepalived服务单实例主节点的配置如下，cat keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     1816635208@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id lb01          
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 55   #主备的虚拟路由ID号要一样
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.248/24 dev eth0 label eth0:1
    }
}

2. lb02上keepalived服务单实例备节点配置如下，cat keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     1816635208@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id lb02
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 55
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.248/24 dev eth0 label eth0:1

    }
}

四. 测试

先开启lb01的nginx和keepalived, 然后开启lb02的nginx和keepalived

在网页上输入 http://192.168.0.248，刷新即可看到切换hello, web1, i am www, hello, web2, i am www.

关闭lb01的keepalived，可以看到lb02启动切换到VIP:192.168.0.248, 可用ip add | grep 192.168.0.248查看

刷新页面192.168.0.248，内容还和之前一样，则说明服务正常

五. 可能存在的问题及注意

1. 要把防火墙关闭

2. lb02上开启nginx有时候会出现VIP地址冲突，不能分配的问题

在/etc/sysctl.conf加入内核参数配置，net.ipv4.ip_nonlocal_bind = 1 表示启动nginx而忽略配置中监听的IP是否存在，执行sysctl -p使修改生效，注意环境是centos6

3. 默认情况下keepalived仅在对方机器停机或者keepalived停掉的时候才会接管业务，但在实际工作中，如果nginx服务停止而keepalived还在工作的情况下，就会导致用户访问的VIP无法找到对应的业务

通俗点说，就是lb01的nginx挂了，但是keeplived是好的，怎么让lb02来接管业务

第一种方法，写个守护进程脚本，当nginx挂了就停掉本地的keepalived

#!/bin/bash
while true
do
    if [ `netstat -lntup | grep nginx | wc -l` -ne 1 ];then
        /etc/init.d/keepalived stop
    fi
    sleep 5
done

第二种方法，在keepalived的配置文件中，加入检测服务脚本，检测监本如下

cat chk_nginx_proxy.sh

#!/bin/bash
if [ `netstat -lntup | grep nginx | wc -l` -ne 1 ];then
    /etc/init.d/keepalived stop
fi

增加执行权限，chmod +x chk_nginx_proxy.sh。然后修改keepalived.conf，完整配置如下

lb01 # cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     1816635208@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id lb01
}

vrrp_script chk_nginx_proxy {  #定义vrrp脚本
script "/server/scripts/chk_nginx_proxy.sh"  #脚本位置
interval 2
weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 55
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.248/24 dev eth0 label eth0:1
    }

    track_script{
    chk_nginx_proxy    #触发检查
    }
}

当lb01停掉nginx后，keepalived2秒内会被自动停掉，VIP释放，由lb02接管，这样就实现了即使服务宕机也会进行IP漂移，业务切换