MYSQL高可用——MHA(概述与安装)

MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。

github地址:https://github.com/yoshinorim

**该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。**MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集群中的master节点,当master出现故障时,它可以自动将最新数据的slave提升为新的master,然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

​ 在MHA自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据的不丢失,但这并不总是可行的。例如,如果主服务器硬件故障或无法通过ssh访问,MHA没法保存二进制日志,只进行故障转移而丢失了最新的数据。**使用MySQL 5.5的半同步复制,可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。**如果只有一个slave已经收到了最新的二进制日志,MHA可以将最新的二进制日志应用于其他所有的slave服务器上,因此可以保证所有节点的数据一致性。

​ 目前MHA主要支持一主多从的架构,**要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器,**一主二从,即一台充当master,一台充当备用master,另外一台充当从库,因为至少需要三台服务器,出于机器成本的考虑,淘宝也在该基础上进行了改造,目前淘宝TMHA已经支持一主一从。(出自:《深入浅出MySQL(第二版)》)

官方介绍:https://code.google.com/p/mysql-master-ha/

 

MHA工作原理总结为以下几条:

    从宕机崩溃的master保存二进制日志事件(binlog events);
    识别含有最新更新的slave;
    应用差异的中继日志(relay log)到其他slave;
    应用从master保存的二进制日志事件(binlog events);
    提升一个slave为新master;
    使用其他的slave连接新的master进行复制。

准备好三台服务器

第一台(master1):10.0.0.46

第二台(master2): 10.0.0.47

第三台 (slave): 10.0.0.48

以下的操作在遇到分隔符之前,每台服务器都要相同操作

1、首先更改了这三台的主机名以便方便操作辨识

hostname master  #临时更改
hostnamectl master #更改完需要断开xshell重连
vim /etc/hostname  #直接添加,添加完后重启才会显示

2、每五分钟从阿里云上同步一次时间

echo "*/$ * * * * /usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1" >>/var/spool/cron/root

3、hosts解析这三台服务器(如果采用第二个免密脚本就不需要这一步)

cat >>/etc/hostsEOF
master1 10.0.0.46
master2  10.0.0.47
master3  10.0.0.48
<<EOF

 4、关闭防火墙和SElinux

systemctl   stop   firewalld.service
systemctl   disable firewalld.service

setenforce 0
sed -i  '/^SELINUX/s#enforcing#disabled#g' /etc/selinux/config

5、互相配置ssh免密码登录

注意:是互相,并且最好不要禁掉密码登录,如果禁了,可能会有问题)

#!/bin/bash
yum -y install sshpass
UserName=root
IPlist=(10.0.0.46 10.0.0.47 10.0.0.48)
#创建密钥
ssh-keygen -t dsa -f ~/.ssh/id_dsa -p "" &>/dev/null
#分发公钥
for i in ${IPlist[*]}
do
        sshpass -p "123456" ssh-copy-id -i ~/.ssh/id_dsa.pub -p 22 -o StrictHostkeyChecking=no $UserName@$ip$i &>/dev/null
done
#这样一来这三台服务器都可以通过ssh相互进行免密连接了

 如果不行就用这个

#!/bin/bash
rpm -q expect
if [ $? -eq 0 ]; then
        echo "已安装"
else
        yum -y install expect
        if [ $? -eq 0 ]; then
                echo "安装成功"
        else
                echo "安装失败"
        fi
fi
#本机是否有ssh密钥 没有则生成
if [ ! -f ~/.ssh/id_rsa ]; then
	echo "请按3次enter健"
	ssh-keygen -t rsa
fi
ssh_expect() {
	expect -c "set timeout -1;
	spawn ssh-copy-id  root@$1

	expect {
		"yes/no" { send -- yes
;exp_continue;}
		"password:" { send -- $2
;exp_continue;}
		eof	
	}";
}

[ -f hosts.txt ] && rm -rf hosts.txt

#定义 hosts.txt
cat > hosts.txt << EOF
	10.0.0.46
	10.0.0.47
        10.0.0.48    
EOF

passwd=123456

for ip in `cat hosts.txt|awk '{print $1}'`
do
	ssh_expect ${ip} ${passwd}
done
 

6、安装mysql,注意要在5.6版本之上

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-server -y

7、启动mysql并查看,然后修改密码

update mysql.user set password=password('123456') where user='root' and host='localhost';  #此后登录mysql都需要输入账户密码才行
flush privileges;

8、配置主从

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

主库master1(10.0.0.46)下

vim /etc/my.cnf

server-id=1

log-bin=mysql-bin

#禁止mysql自动删除relaylog功能

relay_log_purge=0

#mysql5.6已上的特性,开启gtid,必须主从全开

gtid_mode = on

enforce_gtid_consistency = 1

log_slave_updates = 1

#重启mysql

systemctl restart mysql

#创建同步的用户

mysql -uroot -p123456

grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';

flush privileges;

#查看master主库状态
show master status G;

 

#查看GTID状态

show global variables like '%gtid%';

 

主备 master2(10.0.0.47)下:


vim /etc/my.cnf

server-id=2 log-bin=mysql-bin #禁止mysql自动删除relaylog功能 relay_log_purge=0 #mysql5.6已上的特性,开启gtid,必须主从全开 gtid_mode = on enforce_gtid_consistency = 1 log_slave_updates = 1


#创建同步的用户并关闭复制 mysql
-uroot -p123456 grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456'; flush privileges; stop slave; #指向主库 change master to -> master_host='10.0.0.46', -> master_user='rep', -> master_password='123456', -> master_log_file='mysql-bin.000007', -> master_log_pos=231; #开启复制 start slave;
#查看状态是否成功


从 slave(10.0.0.47)下:

vim /etc/my.cnf

[mysqld]
server-id=3
log-bin=mysql-bin

#禁止mysql自动删除relaylog工能
relay_log_purge = 0

#mysql5.6已上的特性,开启gtid,必须主从全开
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates = 1

#重启mysql
systemctl restart mysql

#创建同步的用户并关闭复制
mysql -uroot -p123456
grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';
flush privileges;
stop slave;
#指向主库
change master to
    -> master_host='10.0.0.46',
    -> master_user='rep',
    -> master_password='123456',
    -> master_log_file='mysql-bin.000007',
    -> master_log_pos=231;


#开启复制
start slave;

#查看状态是否成功
show slave status G;

 

安装MHA(所有节点操作)

这里我是已经准备好了这两个包

安装依赖

yum install perl-DBD-MySQL -y
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes

 授权MHA管理用户

grant all privileges on *.* to mha@'10.0.0.%' identified by 'mha';
flush privileges;

 安装MHA node节点

#上传mha4mysql-node-0.58-0.el7.centos.noarch.rpm
rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm

 安装MHA管理节点

选择永远不会切换为主库的节点 10.0.0.48

注意:MHA管理节点不要安装到mysql主库和切换的从库上,否则会在后面出现vip无法漂移的情况。

rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

附带源码安装方式:

yum  -y install perl-DBD-MySQL perl-Config-Tiny perl-Params-Validate  perl-CPAN perl-devel perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

node节点:
tar xf mha4mysql-node-0.58.tar.gz
cd mha4mysql-node-0.58
perl Makefile.PL
make && make install


manager节点:
tar xf mha4mysql-manager-0.58.tar.gz
cd mha4mysql-manager-0.58
perl Makefile.PL
make && make install

#安装完成后会在/usr/local/bin目录下面生成以下脚本文件

 配置MHA

mkdir -p /etc/mha
mkdir -p /var/log/mha/app1
vim /etc/mha/app1.cnf [server default] manager_log=/var/log/mha/app1/manager.log manager_workdir=/var/log/mha/app1 master_binlog_dir=/var/lib/mysql #binlog的目录,如果说miysql的环境不一样,binlog位置不同,每台服务器的binlog的位置写在server标签里面即可 user=mha password=mha ping_interval=2 repl_password=123456 repl_user=rep ssh_user=root [server1] hostname=10.0.0.41 port=3306 [server2] hostname=10.0.0.42 port=3306 [server3] hostname=10.0.0.43 port=3306 ignore_fail=1 #如果这个节点挂了,mha将不可用,加上这个参数,slave挂了一样可以用 no_master=1 #从不将这台主机转换为master #candidate_master=1 #如果候选master有延迟的话,relay日志超过100m,failover切换不能成功,加上此参数后会忽略延迟日志大小。 #check_repl_delay=0 #用防止master故障时,切换时slave有延迟,卡在那里切不过来

 配置文件的内容后面不要留空格和注释否则无法正常运行

 

ssh检查检测

masterha_check_ssh --conf=/etc/mha/app1.cnf

主从复制检测

masterha_check_repl --conf=/etc/mha/app1.cnf

 如果出现报错:MySQL Replication Health is NOT OK!(在/etc/my.cnf [mysqld]下添加:skip-name-resolve

启动MHA

nohup masterha_manager --conf=/etc/mha/app1.cnf  --remove_dead_master_conf --ignore_last_failover < /dev/null >  /var/log/mha/app1/manager.log  2>&1 &

 查看MHA状态

masterha_check_status --conf=/etc/mha/app1.cnf

 

关闭MHA

masterha_stop --conf=/etc/mha/app1.cnf

 从库从新加入新主

grep -i "CHANGE MASTER TO MASTER"  /var/log/mha/app1/manager.log | tail -1

测试MHA故障转移

1、停掉主库10.0.0.46

systemctl stop mysql

 2、查看slave:10.0.0.48的状态,发现Master变成了10.0.0.47

 3、查看新主:10.0.0.47的状态

 

 当作为主库的master1上的MySQL宕机以后,mha通过检测发现master1的mysql,那么会将binlog日志最全的从库立刻提升为主库,而其他的从库会指向新的主库进行再次同步。

4、MHA故障还原

grep "CHANGE MASTER TO MASTER"  /var/log/mha/app1/manager.log | tail -1
systemctl restart mysql
#将master1指向新的主库
mysql -uroot -p123456 -e "CHANGE MASTER TO MASTER_HOST='10.0.0.47',MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='123456';"
mysql -uroot -p123456 -e 'start slave;'
mysql -uroot -p123456 -e 'show slave statusG;'

 此时需要在MHA的配置文件重新添加标签,因为宕机以后,MHA会自动删除,然后再启动MHA

sed -i -e '/server2/i  
[server1] 
hostname=10.0.0.41 
port=3306 
' /etc/mha/app1.cnf

nohup masterha_manager --conf=/etc/mha/app1.cnf  --remove_dead_master_conf --ignore_last_failover < /dev/null >  /var/log/mha/app1/manager.log2>&1 &

5、配置VIP漂移

IP漂移的两种方式

​ 通过keepalived的方式,管理虚拟IP的漂移。​ 通过MHA自带脚本的方式,管理虚拟IP的漂移 #用mha自带的一个VIP漂移的脚本,哪个提升为主,就飘到那个上面,要根据binlog最新的slave提升。

MHA脚本方式修改MHA配置文件

/etc/mha/app1.cnf 下添加:

[server default]
master_ip_failover_script=/usr/bin/master_ip_failover

编写脚本 注意:修改脚本中的网卡名和IP地址。

vim /usr/bin/master_ip_failover


#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '10.0.0.49/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";

GetOptions(
    'command=s'          => $command,
    'ssh_user=s'         => $ssh_user,
    'orig_master_host=s' => $orig_master_host,
    'orig_master_ip=s'   => $orig_master_ip,
    'orig_master_port=i' => $orig_master_port,
    'new_master_host=s'  => $new_master_host,
    'new_master_ip=s'    => $new_master_ip,
    'new_master_port=i'  => $new_master_port,
);

exit &main();

sub main {

    print "

IN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===

";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host 
";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@
";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host 
";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK 
";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user@$new_master_host " $ssh_start_vip "`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user@$orig_master_host " $ssh_stop_vip "`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port
";
}

 在加上执行权限 chmod +x /usr/bin/master_ip_failover

手动绑定vip(在主库上绑定)

ifconfig ens33:1 10.0.0.49/24

 

重启MHA

masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf  --remove_dead_master_conf --ignore_last_failover < /dev/null >  /var/log/mha/app1/manager.log  2>&1 &

模拟主库宕机 VIP漂移

关闭master2:10.0.0.47的mysql

 可以看见绑定的VIP已经消失了

再去查看master1:10.0.0.46的状态和VIP



原文地址:https://www.cnblogs.com/tyk3201/p/12304903.html