环境:
1、centos7.3
2、虚拟ip:192.168.217.200
3、192.168.217.11、192.168.217.12上分别部署Nginx Keepalived Tomcat并进行配置
说明:
Nginx 是一个高性能的HTTP反向代理服务器
Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以利用其来避免服务的单点故障
Tomcat 是一个免费的开放源代码的Web应用服务器,属于轻量级应用服务器
Keepalived + Nginx + Tomcat 的高可用负载均衡架构
如下图:为典型的Tomcat服务多实例部署的架构图
(1)用户通过域名请求到DNS,由DNS解析域名后返回对应的IP地址,该IP及为Keepalived映射服务器的虚拟IP (2)通过该虚拟IP访问到对应的负载均衡器(Nginx),这里Nginx部署两个,然后通过Keepalived来保证NG的高可用,正常情况下由Keepalived-M将虚拟IP映射转发至Nginx-M,如果Nginx-M出现故
障,此时Keepalived会切换至Keepalived-S开始工作,从而保证了NG的单点故障问题。 (3)通过Nginx负载均衡器,将请求路由到对应的Tomcat服务。
搭建Keepalived + Nginx + Tomcat的高可用负载均衡架构
需要准备的软件
(1)apache-tomcat-8.5.16.tar.gz (2)nginx-1.12.2.tar.gz (3)keepalived-1.3.9.tar.gz
服务器准备
两台服务器如:192.168.217.11,192.168.217.12
安装需要的依赖包
yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel
安装
安装Tomcat
1、首先确定系统环境中有JDK 2、分别在两台服务器中安装Tomcat,解压apache-tomcat-8.5.16.tar.gz及可完成安装。
安装Nginx
(1)解压安装包:tar -zxvf nginx-1.12.2.tar.gz (2)进入到nginx-1.12.2目录:cd nginx-1.12.2 (3)编译: a) ./configure –with-http_stub_status_module –with-http_ssl_module –prefix=/usr/local/nginx b) sudo make && sudo make install
安装Keepalived
(1)解压安装包:tar -zxvf keepalived-1.3.9.tar.gz (2)进入到keepalived-1.3.9目录:cd keepalived-1.3.9 (3)执行编译: a)./configure –prefix=/usr/local/keepalived –sysconf=/etc b)sudo make && sudo make install
配置
分别配置两台服务器的Nginx
(1)分别修改两台服务器nginx配置文件,vi /usr/local/nginx/conf/nginx.conf
(2)内容如下:
#nginx进程数 worker_processes 1; #单个进程最大连接数 events { worker_connections 1024; } #http服务器配置 http { include mime.types; default_type application/octet-stream; sendfile on; #长连接超时时间,单位是秒 keepalive_timeout 65; #upstream负载均衡配置,配置路由到tomcat的服务地址以及权重 upstream localhost{ server 192.168.10.11:8080 weight=2; server 192.168.10.12:8080 weight=2; } #虚拟主机的配置 server { #监听端口 listen 80; #域名可以有多个,用空格隔开 server_name localhost; location / { root html; index index.html index.htm; #nginx跟后端服务器连接超时时间(代理连接超时) proxy_connect_timeout 3; #后端服务器数据回传时间(代理发送超时) proxy_send_timeout 30; #连接成功后,后端服务器响应时间(代理接收超时) proxy_read_timeout 30; proxy_pass http://localhost; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
主Keepalived配置
(1)修改11服务器的keepalived配置文件,vi /etc/keepalived/keepalived.conf
(2)内容如下:
! Configuration File for keepalived #全局配置 global_defs { #keepalived切换的时候,发消息到指定的email,可配置多个email notification_email { 12345678@qq.com 455463477@qq.com } #通知邮件从哪个地址发出 notification_email_from smtp.intellicredit.cn #通知邮件的smtp地址 smtp_server smtp.intellicredit.cn #连接smtp服务器的超时时间,单位秒 smtp_connect_timeout 30 #Keepalived的机器标识,一个网络内保持唯一 router_id nginx-master } #执行脚本配置 vrrp_script chk_nginx { #脚本所在路径 script "/home/check_nginx.sh" #脚本执行间隔时间,秒 interval 2 #优先级 weight 2 } #keepalived实例配置 vrrp_instance VI_1 { #指定实例的初始状态,MASTER或BACKUP两种状态,并且需要大写 state MASTER #实例绑定的网卡 interface ens33 #虚拟路由标识,是一个数字,整个VRRP内唯一,如果keepalived配置了主备,需要相同 virtual_router_id 51 #优先级,数值愈大,优先级越高 priority 100 #MASTER与BACKUP之间同步检查的时间间隔,单位为秒 advert_int 1 #通信验证 authentication { auth_type PASS auth_pass 123456 } #追踪外围脚本 track_script { #这里配置vrrp_script的名称 chk_nginx } #虚拟ip配置,可配置多个 virtual_ipaddress { 192.168.217.200 } }
备Keepalived配置
(1)修改12服务器的keepalived配置文件,vi /etc/keepalived/keepalived.conf
(2)内容如下:
! Configuration File for keepalived #全局配置 global_defs { #keepalived切换的时候,发消息到指定的email,可配置多个email notification_email { 12345678@qq.com 455463477@qq.com } #通知邮件从哪个地址发出 notification_email_from wang@intellicredit.cn #通知邮件的smtp地址 smtp_server smtp.intellicredit.cn #连接smtp服务器的超时时间,单位秒 smtp_connect_timeout 30 #Keepalived的机器标识,一个网络内保持唯一 router_id nginx-master } #执行脚本配置 vrrp_script chk_nginx { #脚本所在路径 script "/home/check_nginx.sh" #脚本执行间隔时间,秒 interval 2 #优先级 weight 2 } #keepalived实例配置 vrrp_instance VI_1 { #指定实例的初始状态,MASTER或BACKUP两种状态,并且需要大写 state BACKUP #实例绑定的网卡 interface ens33 #虚拟路由标识,是一个数字,整个VRRP内唯一,如果keepalived配置了主备,需要相同 virtual_router_id 51 #优先级,数值愈大,优先级越高 priority 99 #MASTER与BACKUP之间同步检查的时间间隔,单位为秒 advert_int 1 #通信验证 authentication { auth_type PASS auth_pass 123456 } #追踪外围脚本 track_script { #这里配置vrrp_script的名称 chk_nginx } #虚拟ip配置,可配置多个 virtual_ipaddress { 192.168.217.200 } }
Nginx状态检查脚本创建
(1)新建Nginx的状态检查脚本:check_nginx.sh
(2)内容如下:
#!/bin/sh NGINX=/usr/local/nginx/sbin/nginx PORT=80 nmap localhost -p $PORT | grep "$PORT/tcp open" #echo $? if [ $? -ne 0 ];then $NGINX -s stop #再次尝试启动NG $NGINX sleep 5 nmap localhost -p $PORT | grep "$PORT/tcp open" [ $? -ne 0 ] && cd /usr/sbin && pkill keepalived echo "stoped" fi
运行测试
(1)为了更直观的查看到keepalived切换的效果,将11服务器中的nginx的upstream服务只配置11的tomcat服务地址,12服务器中的upstream服务只配置12的tomcat服务地址,这样只需要观察将11服务器中的nginx关闭看使用虚拟ip是否可以访问到12服务器的tomcat。 (2)分别启动两个服务器中的tomcat、nginx、keepalived,访问虚拟ip:192.168.217.200,可以查看到访问的是主keepalived服务器的tomcat