ysql+heartbeat+DRBD+LVS实现mysql高可用

在企业应用中，mysql+heartbeat+DRBD+LVS是一套成熟的集群解决方案，通过heart+DRBD实现mysql的主节点写操作的高可用性，而通过mysql+LVS实现数据库的主从复制和mysql的读操作的负载均衡。整个方案在读写方面进行了分离，融合了写操作的高可用和读操作的负载均衡，是一个完美又廉价的企业应用解决方案

目前流行的高可用解决方案：

mysql的复制功能是通过建立复制关系和两台和多台机器环境中，一台机器出现故障切换到另一台机器上保证一定程度的可用性

mysql的复制功能加一些集群软件

mysql+heartbeat+DRBD的复制功能

共享存储+mysql的复制功能

DRBD:（分布式块设备复制）是linux内核的存储层中的一个分布式存储系统，可利用DRBD在两台linux服务器之间共享块设备、文件系统和数据。当地数据写入本地主节点的文件系统时，这些数据会通过网络发送到另一台主节点上，本地主节点和远程主节点数据通过TCP/IP协议保持同步，主节点故障时，远程节点保存着相同的数据，可以接替主节点继续提供数据。两个节点之间使用heartbeat来检测对方是否存活

同步过程

1：在node1上写操作被提交，通过内核传给DRBD模块

2：DRBD发送写操作到node2

3：在node2上的DRBD发送写操作给本地磁盘

4：在node2上的DRBD向node1发确认信息，确认接收到写操作并发送给本地次哦按

5：在node1上的DRBD发送写操作给本地磁盘

6：node1内核回应写操作完成

配置之前的准备

1.设置hostname及解析

1.[root@drbd1 ~]# vim /etc/hosts

2.192.168.253.129 drbd1

3.192.168.253.140 drbd2

部署mysql的高可用高扩展集群

1.[root@drbd1 ~]# mke2fs -j /dev/sda

2.[root@drbd1 ~]# mkdir /database

3.[root@drbd1 ~]# mount /dev/sda /database/

4.[root@drbd1 ~]# mount -a

5.[root@drbd1 ~]# mount

6.[root@drbd1 ~]# df -h | grep /database

7./dev/sda               20G 173M   19G   1% /database

DRBD的部署

1.[root@drbd1 ~]# uname -a

2.<a href="http://www.it165.net/os/oslin/" target="_blank" class="keylink">Linux</a> drbd1 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86_64 x86_64 x86_64 GNU/<a href="http://www.it165.net/os/oslin/" target="_blank" class="keylink">Linux</a>

通过yum安装drbd服务

默认centos6.x中并没有提供DRBD的源，这时要么采用源码编译方法，要么使用第三方的YUM源。这里使用了http://elrepo.org/tiki/tiki-index.php提供的源

1.rpm -Uvh http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm

2.[root@drbd1 yum.repos.d]# rpm -qa | grep elrepo-release

3.elrepo-release-6-5.el6.elrepo.noarch

实际上就是往yum.repos.d里面添加一个源配置elrepo.repo

使用yum list查看，进行安装

1.[root@drbd1 yum.repos.d]# yum list all | grep drbd

2.drbd83-utils.x86_64                    8.3.16-1.el6.elrepo              elrepo

3.drbd84-utils.x86_64                    8.4.4-2.el6.elrepo                elrepo

4.kmod-drbd83.x86_64                     8.3.16-1.el6.elrepo               elrepo

5.kmod-drbd84.x86_64                     8.4.4-1.el6.elrepo                elrepo

6.[root@drbd1 ]# yum --enablerepo=elrepo install drbd83-utils kmod-drbd83

检查DRBD是都安装成功，若安装完成，让内核加载DRBD模块

复制样例配置文件为即将使用的配置文件

1.vim /usr/share/doc/drbd83-utils-8.3.16/drbd.conf.example

配置DRBD

1.[root@drbd1 etc]# vim /etc/drbd.conf

2.# You can find an example in /usr/share/doc/drbd.../drbd.conf.example

3.include "drbd.d/global_common.conf";

4.include "drbd.d/*.res";

配置 vim /etc/drbd.d/global_common.conf

01.vim /etc/drbd.d/global_common.conf

02.global {

03.usage-count no;

04.# minor-count dialog-refresh disable-ip-verification

05.}

06.common {

07.protocol C;

08.handlers {

09.pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

10.pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

11.local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

12.# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

13.# split-brain "/usr/lib/drbd/notify-split-brain.sh root";

14.# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

15.# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

16.# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

17.}

18.startup {

19.#wfc-timeout 120;

20.#degr-wfc-timeout 120;

21.}

22.disk {

23.on-io-error detach;

24.#fencing resource-only;

25.}

26.net {

27.cram-hmac-alg "sha1";

28.shared-secret "mydrbdlab";

29.}

30.syncer {

31.rate 1000M;

32.}

33.}

配置/etc/drbd.d/web.res

01.[root@drbd2 etc]# vim /etc/drbd.d/web.res

02.resource web {

03.on drbd1 {

04.device    /dev/drbd0;

05.disk      /dev/sda;

06.address   192.168.253.129:7789;

07.meta-disk internal;

08.}

09.on drbd2 {

10.device    /dev/drbd0;

11.disk      /dev/sda;

12.address   192.168.253.140:7789;

13.meta-disk internal;

14.}

15.}

启动DRBD

1.[root@drbd1 ~]# drbdadm create-md all

2.Writing meta data...

3.initializing activity log

4.NOT initialized bitmap

5.New drbd meta data block successfully created.

启动DRBD时，可能出现以下错误

01.[root@drbd1 ~]# drbdadm create-md all

02.md_offset 21474832384

03.al_offset 21474799616

04.bm_offset 21474144256

05.Found ext3 filesystem

06.20971520 kB data area apparently used

07.20970844 kB left usable by current configuration

08.Device size would be truncated, which

09.would corrupt data and result in

10.'access beyond end of device' errors.

11.You need to either

12.* use external meta data (recommended)

13.* shrink that filesystem first

14.* zero out the device (destroy the filesystem)

15.Operation refused.

16.Command 'drbdmeta 0 v08 /dev/sda internal create-md' terminated with exit code 40

17.drbdadm create-md web: exited with code 40

这事需要如下命令覆盖文件系统中的设备块信息

1.[root@drbd1 ~]# dd if=/dev/zero of=/dev/sda bs=1M count=128

2.记录了128+0 的读入

3.记录了128+0 的写出

4.134217728字节(134 MB)已复制，0.448662 秒，299 MB/秒

再重新启动DRBD，可以通过dmesg命令查看DRBD的启动过程