lvs

集群：

　　 1.一组通过高速网络互联的计算组，并以单一系统的模式加以管理

　　 2.将很多服务器集中在一起，提供同一种服务，在客户端看来就像是只有一个服务器

　　 3.可以在付出较低成本的情况下获取在性能，可靠性，灵活性方面的相对较高的收益

　　4.任务调度是集群系统中的核心技术

类型：

　　1.HPC（高性能计算集群）

　　　　 --通过以集群开发的并行应用程序，解决复杂的科学问题。

　　 2.LB（负载均衡）

　　　　 --客户端负载在计算机集群中尽可能平均分摊

　　 3.HA（高可用）

　　　　 --避免单点故障，当一个系统发生故障时，可以快速迁移。

lvs：

　　可以实现高可用的，可伸缩的web、mailcache、media等网络服务

　　最终目标是利用linux操作系统和lvs集群软件实现一个高可用、高性能、低成本的服务器应用集群

LVS集群组成（工作在传输层，基于端口）

　　前端：负载均衡层

　　 --由一台或多台负载调度器构成

　　中间：服务器群组层

　　--由一组实际运行应用服务的服务器组成

　　底端：数据共享存储层

　　 --提供共享存储空间的存储区域

LVS术语:

　　director server 调度服务器

　　 --将负载分发到real server的服务器

　　real server 真实服务器

　　--真正提供应用服务的服务器

　　VIP 虚拟IP地址

　　--公布给用户访问的虚拟IP地址

　　RIP 真实IP地址

　　 --集群节点上使用的IP地址

　　DIP

　　　　--调度器连接节点服务器的IP地址

LVS工作模式：

　　NAT 模式

　　 -通过网络地址转换实现的虚拟服务器；大并发访问时，调度器的性能成为瓶颈

　　DR模式

　　 -直接使用路由技术实现虚拟服务器；节点服务器需要配置VIP，注意MAC地址广播

　　TUN模式

　　 -通过隧道方式实现虚拟服务器（不常用）

负载均衡调度算法：

　　LVS目前实现了10种调度算法，常用调度算法有4种

　　　　 rr 轮询 round robin

　　　　　　 --将客户端请求平均分发到real server

　　　　 wrr加权轮询 weighted round robin

　　　　　　 --根据real server 权重进行轮询调度

　　　　 lc 最少连接 least connections

　　　　　　 --选择连接数最少的服务器

　　　　 wlc加权最少连接Weighted Least-Connection

　　　　　　 --根据real server权重值，选择连接数最少的服务器

　　　　 sh源地址散列 source hashing

　　　　　　 --根据请求的目标，作为散列键（hash key）从静态分配的散列表找出对应的服务器。

　　　　 dh目标地址散列 destination hashing

　　　　 lblc基于局部性的最少链接Locality-Based Least-Connection

　　　　 lblcr带复制的基于局部性最少链接 Locality-Based Least-Connection with Replication

　　　　 sed最短的期望的延迟Shortest Expected Delay

　　　　nq最少队列调度Never Queue

lvs+net：

#44,55的网关是33

B机：

#sysctl -p（内核路由转发功能）

#cat /etc/sysctl.conf

net.ipv4.ip_forword = 1

#yum -y install ipvsadm

#ipvsadm -A -t 192.168.2.33:80 -s rr

#ipvsadm -a -t 192.168.2.33:80 -r 192.168.4.44:80 -m

#ipvsadm -a -t 192.168.2.33:80 -r 192.168.4.55:80 -m

#service ipvsadm save

#cat /etc/sysconfig/ipvsadm(配置文件)

#chkconfig ipvsadm on

#ipvsadm -Ln

lvs+dr:

配置realserver（44，55）：

1.绑定vip

#ifconfig lo:1 vip/32

#ifconfig lo:1

2.修改网卡接口的运行参数，帮助兄弟接口收发ip包

方法1

# sysctl -a | grep arp_ig

# echo 'net.ipv4.conf.all.arp_ignore = 1' >> /etc/sysctl.conf

# echo 'net.ipv4.conf.lo.arp_ignore = 1' >> /etc/sysctl.conf

# sysctl -a | grep arp_an

# echo "net.ipv4.conf.all.arp_announce = 2" >> /etc/sysctl.conf

# echo "net.ipv4.conf.lo.arp_announce = 2" >> /etc/sysctl.conf

# sysctl -p

方法2

#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore (忽略arp广播包)

#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce (帮助兄弟接口收发ip包)

#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

配置分发器：

1.绑定vip

#ifconfig ens33:1 vip/32

#ifconfig ens33:1

2.添加linux虚拟服务，并添加realserver

#yum -y install ipvsadm

#ipvsadm -A -t vip:80 -s rr

#ipvsadm -a -t vip:80 -r 192.168.4.44:80 -m

#ipvsadm -a -t vip:80 -r 192.168.4.55:80 -m

#ipvsadm -Ln

3.检查

#ipvsadm -Ln --stats

ipvsadm手册

管理集群服务：

添加：-A -t|u|f service-address [-s scheduler]

-t：TCP协议的集群

service-address： IP:PORT

-u：UDP协议的集群

service-address： IP:PORT

-f ：FireWallMark(FWM)，防火墙标记

service-address： Mark Number

example：

# ipvsadm -A -t 10.10.10.1:80 -s rr

修改：-E

使用格式跟-A选项相同

删除：-D -t|u|f service-address

管理集群服务中的Real Server：

添加：-a -t|u|f service-address -r server-address [-g|i|m] [-w weight]

-t|u|f service-address：事先定义好的某集群服务

-r server-address：real server的地址，在NAT模型中，可以使用IP:PORT实现端口映射

[-g|i|m]：LVS类型

-g：DR

-i：TUN

-m：NAT

[-w weight]：定义服务器权重

example：

# ipvsadm -a -t 10.10.10.1:80 -r 10.10.10.11 -m

# ipvsadm -a -t 10.10.10.1:80 -r 10.10.10.12 -m

修改：-e

使用格式跟-a选项相同

删除：-d -t|u|f service-address -r server-address

查看：

-L | -l ：显示规则

-n：以数字格式显示主机地址和端口

-c：显示当前ipvs连接状况

--stats：显示统计信息

--rate：显示速率

--timeout：显示tcp、tcpfin、udp会话超时时长

# ipvsadm -L -n --timeout

Timeout (tcp tcpfin udp): 900 120 300

--daemon：显示进程状态以及多播端口

--sort：排序显示

设置tcp、tcpfin、udp会话超时时长：

# ipvsadm --set tcp tcpfin udp

删除所有集群服务：

-C：清空ipvs规则

# ipvsadm -C

保存规则：-S

# ipvsadm -S > /path/to/file

恢复规则：-R

# ipvsadm -R < /path/to/file

清空服务计数器：-Z [-t|u|f service-address]

# ipvsadm -Z [-t|u|f service-address]

查看RealServer持久连接：

# ipvsadm -L -n --persistent-conn

在LVS上新增Service

　　[命令]：

　　　　ipvsadm -A -t <VIP>:<Port> -s <schedule: rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq>

　　[实例]:

　　　　在LVS中为http协议添加一个VIP为1.1.1.1的service, 并设置调度方式为Round Robin

　　　　ipvsadm -A -t 1.1.1.1:80 -s rr

新增Real Server

　　[命令]：

　　　　ipvsadm -a -t <VIP>:<Port> -r <VIP>:<Port> <Forward Mode: -b | -m | -g | -i >

　　[实例]:

　　　　以DR方式为VIP1.1.1.1的LVS新增Real IP为192.168.1.2的Real Server

　　　　ipvsadm -a -t 1.1.1.1:80 -r 192.168.1.2:80 -g

查看所有的LVS以及对应的Real Server(常用)

　　[命令]：

　　　　ipvsadm -l

　　[实例]:

　　　　查看LVS以及对应的Real Server

　　　　ipvsadm -l

　　　　查看LVS以及对应的Real Server (不解析IP和PORT)

　　　　ipvsadm -ln

InActConn 指非活跃连接数，我们将处于 TCP ESTABLISH 状态以外的连接都称为不活跃连接。例如处于 SYN_RECV 状态的连接，处于 TIME_WAIT 状态的连接等。

　　　　ipvsadm -l --rate

--rate选项是显示速率信息

　　CPS （current connection rate）每秒连接数

　　InPPS （current in packet rate）每秒的入包个数

OutPPS （current out packet rate）每秒的出包个数

InBPS （current in byte rate）每秒入流量（字节）

OutBPS （current out byte rate）每秒入流量（字节）

　　　　ipvsadm -l -status

--stats 选项是统计自该条转发规则生效以来的

Conns （connections scheduled）已经转发过的连接数

InPkts （incoming packets）入包个数

OutPkts （outgoing packets）出包个数

InBytes （incoming bytes）入流量（字节）

OutBytes （outgoing bytes）出流量（字节）

在LVS上删除一个Service

　　[命令]：

　　　　ipvsadm -D -t <VIP>:<PORT>

　　[实例]:

　　　　删除VIP为1.1.1.1的Service

　　　　ipvsadm -D -t 1.1.1.1:80

在LVS上删除一个Real Server

　　[命令]：

　　　　ipvsadm -d -t <VIP>:<PORT> -r <RIP>:<PORT>

　　[实例]:

　　　删除VIP为1.1.1.1对应的Real Server 192.168.1.1

　　　　ipvsadm -d -t 1.1.1.2:80 -r 192.168.1.1:80

在LVS上清空所有的Service以及所有的Real Server

　　[命令]：

　　　　ipvsadm -C