MySQL高可用架构-Atlas

一、Atlas介绍

1.1、简介

Atlas是由Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。

1.2、atlas主要功能

主要功能：

读写分离
从库负载均衡
IP过滤
自动分表
DBA可平滑上下线DB
自动摘除宕机的DB

1.3、atlas架构

Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池

1.4、atlas优势

Atlas相对于官方MySQL-Proxy的优势

1.将主流程中所有Lua代码用C重写，Lua仅用于管理接口
2.重写网络模型、线程模型
3.实现了真正意义上的连接池
4.优化了锁机制，性能提高数十倍

二、atlas安装与配置

软件包下载地址：https://github.com/Qihoo360/Atlas/releases

注意：Atlas只能安装运行在64位的系统上。后端mysql版本应大于5.1，建议使用Mysql5.6

2.1、atlas安装

[root@atlas ~]# ll Atlas-*  #有两个软件，不兼容
-rw-r--r-- 1 root root 4963681 Mar 20  2019 Atlas-2.2.1.el6.x86_64.rpm
-rw-r--r-- 1 root root 5574363 Oct  3 15:46 Atlas-sharding_1.0.1-el6.x86_64.rpm
[root@mycat ~]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm

#目录结构
[root@atlas local]# ls mysql-proxy/
bin  conf  lib  log
[root@atlas local]# tree mysql-proxy/
mysql-proxy/
├── bin
│   ├── encrypt
│   ├── mysql-proxy
│   ├── mysql-proxyd
│   └── VERSION
├── conf
│   └── test.cnf
├── lib
│   ├── libevent-2.0.so.5
│   ├── libglib-2.0.so.0
│   ├── libgmodule-2.0.so.0
│   ├── libgthread-2.0.so.0
│   ├── libjemalloc.so.1
│   ├── liblua-5.1.so
│   ├── libmysql-chassis-glibext.so.0
│   ├── libmysql-chassis.so.0
│   ├── libmysql-chassis-timing.so.0
│   ├── libmysql-proxy.so.0
│   ├── libsql-tokenizer.so.0
│   └── mysql-proxy
│   ├── lua
│   │   ├── admin.lua
│   │   ├── chassis.so
│   │   ├── crc32.so
│   │   ├── glib2.so
│   │   ├── lfs.so
│   │   ├── lpeg.so
│   │   ├── mysql.so
│   │   ├── posix.so
│   │   ├── proxy
│   │   │   ├── auth.lua
│   │   │   ├── auto-config.lua
│   │   │   ├── balance.lua
│   │   │   ├── charset.lua
│   │   │   ├── commands.lua
│   │   │   ├── crc32.lua
│   │   │   ├── filter.lua
│   │   │   ├── log.lua
│   │   │   ├── parser.lua
│   │   │   ├── split.lua
│   │   │   ├── test.lua
│   │   │   ├── ticker.lua
│   │   │   └── tokenizer.lua
│   │   └── time.so
│   └── plugins
│   ├── libadmin.so
│   └── libproxy.so
└── log

2.2、Atlas配置

[root@atlas conf]# cat test.cnf
[mysql-proxy]

#带#号的为非必需的配置项目

#管理接口的用户名
admin-username = user

#管理接口的密码
admin-password = pwd

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
proxy-backend-addresses = 10.0.0.201:3306  #主库

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
proxy-read-only-backend-addresses = 10.0.0.203:3306

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！
pwds = root:TWbz0dlu35U=  #./encrypt mysql

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
daemon = true

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
keepalive = true

#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置
event-threads = 8

#日志级别，分为message、warning、critical、error、debug五个级别
log-level = message

#日志存放的路径
log-path = /usr/local/mysql-proxy/log

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF
#sql-log = OFF

#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。
#sql-log-slow = 10

#实例名称，用于同一台机器上多个Atlas实例间的区分
#instance = test

#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234

#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项
#tables = person.mt.id.3

#默认字符集，设置该项后客户端不再需要执行SET NAMES语句
#charset = utf8

#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
#lvs-ips = 192.168.1.1

2.3、启动atlas

进入/usr/local/mysql-proxy/bin目录：

./mysql-proxydteststart       #启动Atlas
./mysql-proxydtestrestart	#重启Atlas
./mysql-proxydteststop		#停止Atlas

[root@atlas conf]# ps -ef|grep mysql
root       7760      1  0 16:47 ?        00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root       7761   7760  0 16:47 ?        00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root       7772   7615  0 16:47 pts/0    00:00:00 grep --color=auto mysql
[root@atlas conf]# netstat -lntup|grep mysql
tcp        0      0 0.0.0.0:1234            0.0.0.0:*               LISTEN      7761/mysql-proxy    
tcp        0      0 0.0.0.0:2345            0.0.0.0:*               LISTEN      7761/mysql-proxy

#连接测试
[root@atlas ~]# mysql -uroot -P1234 -uroot -pmysql -h127.0.0.1
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or g.
Your MySQL connection id is 1
Server version: 5.0.81-log MySQL Community Server (GPL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.

mysql>

三、atlas读写分离

3.1、配置

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
proxy-backend-addresses = 10.0.0.201:3306

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
proxy-read-only-backend-addresses = 10.0.0.203:3306

3.2、测试

暂时关闭主从复制，在master上和slave上分别插入测试数据：

#在master上插入测试数据
master01-atlas]>insert into temp values(1,'master');

#在slave上插入测试数据
slave01-[atlas]>insert into temp values(1,'slave01');

#在atlas上查看==>只能查看slave上数据
mysql> select * from temp;
+------+---------+
| id   | name    |
+------+---------+
|    1 | slave01 |
+------+---------+

#在atlas上插入数据测试
mysql> insert into temp values(3,'atlas');

mysql> select * from temp;
+------+---------+
| id   | name    |
+------+---------+
|    1 | slave01 |
+------+---------+

#插入的数据可以在master上查看
master01-atlas]>select * from temp;
+------+----------+
| id   | name     |
+------+----------+
|    1 | master01 |
|    3 | atlas    |
+------+----------+
-----------------------------------------------------------

#当master主库关闭情况下，写操作失败，读操作依然可以执行
[root@master01 ~]# /etc/init.d/mysqld stop
Shutting down MySQL.... SUCCESS!

mysql> insert into temp values(4,'abc');
ERROR 2013 (HY000): Lost connection to MySQL server during query
mysql> select * from temp;
+------+---------+
| id   | name    |
+------+---------+
|    1 | slave01 |
+------+---------+
------------------------------------------------------------

#当MySQL仅有的一个从库关闭的情况下，写操作成功，读操作也漂移到主库上执行
[root@slave01 ~]# /etc/init.d/mysqld stop
[root@master01 ~]# /etc/init.d/mysqld start
Starting MySQL.. SUCCESS!

mysql> insert into temp values(4,'abc');
mysql> select * from temp;
+------+----------+
| id   | name     |
+------+----------+
|    1 | master01 |
|    3 | atlas    |
|    4 | abc      |
+------+----------+