基于mysql-proxy实现mysql读写分离

实验环境:
mysql_master:10.6.191.210
mysql_slave:10.6.191.211 
mysql-proxy:10.6.191.214

        LAMP+Discuz+Redis缓解了MYSQL的部分压力,但是如果访问量非常大,Redis缓存中第一次没有缓存数据,会导致MYSQL数据库压力增大,此时可以基于分库、分表、分布式集群、或者读写分离来分担MYSQL数据库的压力,以读写分离为案例,来实现分担MYSQL数据库的压力。

MYSQL读写分离的原理其实就是让Master数据库处理事务性增、删除、修改、更新操作(CREATE、INSERT、UPDATE、DELETE),而让Slave数据库处理SELECT操作,MYSQL读写分离前提是基于MYSQL主从复制,这样可以保证在Master上修改数据,Slave同步之后,WEB应用可以读取到Slave端的数据。

    实现MYSQL读写分离可以基于第三方插件,也可以通过开发修改代码实现,具体实现的读写分离的常见方式有如下四种:

  • MySQL-Proxy读写分离;

  • Amoeba读写分离;

  • Mycat读写分离;

  • 基于程序读写分离(效率很高,实施难度大,开发改代码)

Amoeba是以MySQL为底层数据存储,并对WEB、APP应用提供MySQL协议接口的proxy。它集中地响应WEB应用的请求,依据用户事先设置的规则,将SQL请求发送到特定的数据库上执行,基于此可以实现负载均衡、读写分离、高可用性等需求。

Amoeba相当于一个SQL请求的路由器,目的是为负载均衡、读写分离、高可用性提供机制,而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。

    Mysql-Proxy是MySQL官方提供的mysql中间件服务,支持无数客户端连接,同时后端可连接若干台Mysql-Server服务器,MYSQL-Proxy自身基于MySQL协议,连接MYSQL-Proxy的客户端无需修改任何设置, 跟正常连接MYSQL Server没有区别,无需修改程序代码。

MySQL Proxy是App应用(客户端)与MYSQL Server之间的一个连接代理,MySQL Proxy负责将APP应用的SQL请求根据转发规则,转发至相应的后端数据库,基于lua脚本,可以实现复杂的连接控制和过滤,从而实现数据读写分离和负载均衡的需求。

Mysql-Proxy允许用户指定Lua脚本对SQL请求进行拦截,对请求进行分析与修改,还允许用户指定Lua脚本对服务器的返回结果进行修改,加入一些结果集或者去除一些结果集,对SQL的请求通常为读请求、写请求,基于Lua脚本,可以实现将SQL读请求转发至后端Slave服务器,将SQL写请求转发至后端Master服务器。

如图所示,为MYSQL-PROXY读写分离架构图,通过架构图可以清晰看到SQL请求整个流向的过程.

Mysql-Proxy读写分离架构实战配置,如图所示,两台WEB通过MYSQL-Proxy连接后端10.6.191.210和10.6.191.211   MYSQL服务器。

构建Mysql读写分离架构首先需要将两台MYSQL服务器配置为主从复制(前文已存在,此处省略配置),配置完毕后,在10.6.191.214服务器上安装Mysql-Proxy服务即可,配置步骤如下:

1)下载MYSQL-Proxy软件版本,解压并重命名至/usr/local/mysql-proxy,命令如下:

wget http://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-Proxy/mysql-proxy-0.8.4-linux-el6-x86-64bit.tar.gz  
useradd  -r  mysql-proxy
tar  -zxf  mysql-proxy-0.8.4-linux-el6-x86-64bit.tar.gz  -C  /usr/local
mv  /usr/local/mysql-proxy-0.8.4-linux-el6-x86-64bit  /usr/local/mysql-proxy

2)环境变量配置文件/etc/profile中加入如下代码保存退出,然后执行source /etc/profile使环境变量配置生效即可:

echo "export  PATH=$PATH:/usr/local/mysql-proxy/bin/" >>/etc/profile
source /etc/profile

3)启动MYSQL-Proxy中间件,命令启动方式如下:

mysql-proxy --daemon --log-level=debug --user=mysql-proxy --keepalive --log-file=/var/log/mysql-proxy.log --plugins="proxy" --proxy-backend-addresses="10.6.191.210:3306" --proxy-read-only-backend-addresses="10.6.191.211:3306" --proxy-lua-script="/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua" --plugins=admin --admin-username="admin" --admin-password="admin" --admin-lua-script="/usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua"

脚本启动方式:

配置启动脚本,并修连接端口(连接mysql-proxy时,原来用的端口是4040,下面修改为3306),vi /etc/sysconfig/mysql-proxy

#!/bin/bash
# Options for mysql-proxy  
ADMIN_USER="admin"
ADMIN_PASSWORD="admin"
ADMIN_ADDRESS=""
ADMIN_LUA_SCRIPT="/usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua"
PROXY_ADDRESS="0.0.0.0:3306"
PROXY_USER="mysql-proxy"
PROXY_OPTIONS="--daemon --log-level=info --log-file="/var/log/mysql-proxy.log" --plugins=proxy --plugins=admin --proxy-backend-addresses=10.
6.191.210:3306 --proxy-read-only-backend-addresses=10.6.191.211:3306 --proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-spli
tting.lua"

添加sys启动脚本,vim /etc/init.d/mysql-proxy

#!/bin/bash  
#  
# mysql-proxy This script starts and stops the mysql-proxy daemon  
#  
# chkconfig: - 78 30  
# processname: mysql-proxy  
# description: mysql-proxy is a proxy daemon for mysql
# Source function library. 
. /etc/rc.d/init.d/functions
prog="/usr/local/mysql-proxy/bin/mysql-proxy"
# Source networking configuration. 
if [ -f /etc/sysconfig/network ]; then  
    . /etc/sysconfig/network  
fi
# Check that networking is up. 
[ ${NETWORKING} = "no" ] && exit 0
# Set default mysql-proxy configuration. 
ADMIN_USER="admin"  
ADMIN_PASSWD="admin"  
ADMIN_LUA_SCRIPT="/usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua"  
PROXY_OPTIONS="--daemon"  
PROXY_PID=/var/run/mysql-proxy.pid  
PROXY_USER="mysql-proxy"
# Source mysql-proxy configuration. 
if [ -f /etc/sysconfig/mysql-proxy ]; then  
    . /etc/sysconfig/mysql-proxy  
fi
RETVAL=0
start() { 
    echo -n $"Starting $prog: "  
    daemon $prog $PROXY_OPTIONS --pid-file=$PROXY_PID --proxy-address="$PROXY_ADDRESS" --user=$PROXY_USER --admin-username="$ADMIN_USER" --admin-lua-script="$ADMIN_LUA_SCRIPT" --admin-password="$ADMIN_PASSWORD"  
    RETVAL=$?  
    echo  
    if [ $RETVAL -eq 0 ]; then  
        touch /var/lock/subsys/mysql-proxy  
    fi  
}
stop() { 
    echo -n $"Stopping $prog: "  
    killproc -p $PROXY_PID -d 3 $prog  
    RETVAL=$?  
    echo  
    if [ $RETVAL -eq 0 ]; then  
        rm -f /var/lock/subsys/mysql-proxy  
        rm -f $PROXY_PID  
    fi  
}  
# See how we were called.  
case "$1" in  
    start)  
        start  
        ;;  
    stop)  
        stop  
        ;;  
    restart)  
        stop  
        start  
        ;;  
    condrestart|try-restart)  
        if status -p $PROXY_PIDFILE $prog >&/dev/null; then  
            stop  
            start  
        fi  
        ;;  
    status)  
        status -p $PROXY_PID $prog  
        ;;  
    *)  
        echo "Usage: $0 {start|stop|restart|reload|status|condrestart|try-restart}"  
        RETVAL=1  
        ;;  
esac
exit $RETVAL

启动mysql-proxy

chmod +x /etc/rc.d/init.d/mysql-proxy
chkconfig --add mysql-proxy
chkconfig mysql-proxy on
service mysql-proxy restart

Mysql-Proxy的相关参数详解如下:

--help-all                            :获取全部帮助信息;
--proxy-address=host:port              :代理服务监听的地址和端口,默认为4040;
--admin-address=host:port               :管理模块监听的地址和端口,默认为4041;
--proxy-backend-addresses=host:port   :后端mysql服务器的地址和端口;
--proxy-read-only-backend-addresses=host:port :后端只读mysql服务器的地址和端口;
--proxy-lua-script=file_name          :完成mysql代理功能的Lua脚本;
--daemon                           :以守护进程模式启动mysql-proxy;
--keepalive                           :在mysql-proxy崩溃时尝试重启之;
--log-file=/path/to/log_file_name          :日志文件名称;
--log-level=level                      :日志级别;
--log-use-syslog                      :基于syslog记录日志;
--plugins=plugin                     :在mysql-proxy启动时加载的插件;
--user=user_name                   :运行mysql-proxy进程的用户;
--defaults-file=/path/to/conf_file_name :默认使用的配置文件路径,其配置段使用[mysql-proxy]标识;
--proxy-skip-profiling                  :禁用profile;
--pid-file=/path/to/pid_file_name          :进程文件名

4)MYSQL-Proxy启动后,在服务器端查看端口,其中4040为proxy代理端口用于WEB应用连接,4041位管理端口用于SA或者DBA管理,如图所示:

5)基于4041端口MySQL-Proxy查看读写分离状态,登录4041管理端口,命令如下:

mysql  -h10.6.191.214  -uadmin  -p  -P 4041

6)以4041管理口登录,然后执行select命令,如图12-18所示state均为up状态,type类型为rw、ro,则证明读写分离状态成功。如果状态为unknown未知状态,可以4040端口登录执行:show  databases;命令,直到state变成up状态为止。

7)登录Apache WEB服务器,修改Discuz PHP网站发布

(域名解析在/etc/hosts)

PS:出现的错误

1)discuz不能访问数据库
复制代码
grant all on discuz.* to discuz@'%' identified by "123456";

vim  /usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1, #默认超过4个连接数时,才开始读写分离,改为1
max_idle_connections = 1, #默认8,改为1
is_debug = false
}
end
复制代码

mysql-proxy+mysql5.7+discuz3.3

http://blog.51cto.com/aby028/1893820
原文地址:https://www.cnblogs.com/deny/p/10283158.html