一、缓存的概念
1、Buffer,Cache的区别：
buffer: 一般用于写操作，写缓冲。
cache: 一般用于读操作，读缓存。
它们都是解决速度不一致的问题，都设计到IO操作。
2、Cache的重点关注点：
1.存放位置（多级cache）： 客户端（浏览器缓存） 内存（本地或者远程服务器） 硬盘（本地或者远程服务器） 2.过期时间： TTL 3.强制失效 4.Cache的命中率（重点）： 一个完全没有命中率的cache没有意义。
二、浏览器缓存
1、缓存协商的定义
浏览器和web服务器进行缓存的对话。
2、浏览器缓存的几种方式
Last-Modified: 文件最后修改时间 Etag: MD5 Expires: 过期时间 Nginx设置方法： location ~ .*.(js|css){ expires 1h; #1小时过期 } （如果在过期前发现js错了，需要改名或者加时间123.js变成123.js?201610） Cache-Control： 解决客户端时间不对的问题
3、浏览器几种刷新方式的区别：
在地址栏敲击Enter键： 只要没有过期的直接使用缓存，所有缓存机制都生效。
F5或者刷新按钮： Expires不受影响，其他缓存机制都失效。
Ctrl+F5: 强制刷新，所有缓存机制都失效，相当于第一次访问网页。
三、CDN相关
1、CDN主要解决以下问题：
不同运营商的互联问题，BGP又贵。
用户和服务器之间网络传输距离长的问题。
现有服务器带宽有限。
提高用户的响应速度和成功率。
百度CDN：https://cloud.baidu.com/product/cdn.html
阿里CDN：https://www.aliyun.com/product/cdn?spm=5176.8269123.416540.50.728y8n
腾讯CDN：https://www.qcloud.com/product/cdn
2、CDN的核心技术
1.内容调度 - 智能dns（根据你的localDNS的Ip来判断） 2.监测系统 - 监测各个节点的链路状态和健康状态 3.内容分发 - 预缓存 4.过期刷新 - 缓存刷新 5.数据存储 - 文件的存储 6.用户配置中心 - saltstack ansible 7.计费系统 8.数据可视化 - 日志分析，日志下载 9.防攻击 - WAF
四、Nginx反向代理缓存配置
1、配置nginx反向代理缓存
# vim /usr/local/nginx/conf/proxy.conf #cdn proxy_temp_path /data/cdn_cache/proxy_temp_dir; #缓存的临时目录 proxy_cache_path /data/cdn_cache/proxy_cache_dir levels=1:2 keys_zone=cache_one:50m inactive=1d max_size=1g; #缓存的目录，缓存级别1:2，缓存名称cache_one，内存缓存大小50M,自动清除1天没访问的文件，硬盘缓存大小1G proxy_connect_timeout 5; proxy_send_timeout 60; proxy_read_timeout 5; proxy_buffer_size 16k; proxy_buffers 4 64k; proxy_busy_buffers_size 128k; proxy_temp_file_write_size 128k; proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_404;
#后端服务器出现500,502等异常后，可以分配到下一台服务器程序继续处理，提高平台访问成功率 # vim /usr/local/nginx/conf/vhost/bbs.conf location ~ .*.(gif|jpg|png|bmp)$ { proxy_pass http://image; #Use Proxy Cache proxy_cache cache_one; #匹配上面的缓存配置 proxy_cache_key "$host$request_uri"; add_header Cache "$upstream_cache_status"; #增加header头 proxy_cache_valid 200 304 301 302 8h; proxy_cache_valid 404 1m; proxy_cache_valid any 2d; } # mkdir -p /data/cdn_cache/proxy_cache_dir/ # mkdir -p /data/cdn_cache/proxy_temp_dir
2、如何根据URL来删除缓存文件
先查看缓存文件的头部信息： # head /data/cdn_cache/proxy_cache_dir/c/7c/9857f1ea1acafc1697b2121f36f7f7cc KEY: bbs.wmj.com/b.gif #这个是Key值，根据上面定义格式来生成的"$host$request_uri" HTTP/1.1 200 OK Date: Wed, 05 Jul 2017 07:59:18 GMT Server: Apache/2.2.15 (CentOS) Last-Modified: Wed, 05 Jul 2017 04:15:35 GMT ETag: "2009e8-26ec-5538a40711f72" Accept-Ranges: bytes Content-Length: 9964 Connection: close 缓存文件名就是根据KEY值的MD5计算而来。 # echo -n "bbs.wmj.com/b.gif" |md5sum 9857f1ea1acafc1697b2121f36f7f7cc - 文件路径”c/7c”分别是md5的最后一位和倒数2-3位来生成。 通过这个来定义“levels=1:2”
3、删除nginx缓存文件的脚本
#!/bin/bash ####################################################### #说明： # 1.本脚本用于清除nginx缓存文件 # 2.查看你的nginx是根据什么作为key来hash的，我的设置是 proxy_cache_key $host$request_uri; # 因此nginx会根据$host$request_uri作为key进行hash，因此可以模拟nginx对一个key进行再 # hash找到相应的文件路径，删除（具体可随意找个缓存文件 more 一下看看) # 3.缓存设置 proxy_cache_path /data/cdn_cache/proxy_cache_dir/ levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g; # 根据相应的配置，请做相应修改测试 # 4.uri格式请按照同级目录下rm_apk_list.txt中填写 ##################################################### while read -r line do md5uri=`echo -n $line | md5sum | awk '{ print $1 }'` filepath=`echo "$md5uri" | awk '{print "/data/cdn_cache/proxy_cache_dir/"substr($0,length($0),1)"/"substr($0,length($0)-2,2)"/"$0}'` rm -rf $filepath done /root/rm_apk.sh < rm_apk_list.txt #脚本执行命令
五、PHP的缓存机制
1、安装php的opcache
参考资料：http://php.net/manual/zh/book.opcache.php 安装的时候： –enable-opcache php.ini zend_extension=opache.so opcache.memory_consumption=128 opcache.interned_strings_buffer=8 opcache.max_accelerated_files=4000 opcache.revalidate_freq=60 opcache.fast_shutdown=1 opcache.enable_cli=1
2、PHP本地缓存
php-yac
六、其他缓存
1、RAID卡的基本命令
1、查看当前RAID卡缓存策略 MegaCli64 -LDinfo -Lall -aAll Default Cache Policy: WriteThrough,ReadAheadNone,Direct,No Write Cache if Bad BBU Current Cache Policy: WriteThrough,ReadAheadNone,Direct,No Write Cache if Bad BBU 2、缓存策略说明 1) 写策略 WriteBack: 写缓存策略, WriteThrough: 直接写入磁盘,不使用RAID卡缓存 2) 预读策略 ReadAheadNone: 不开启预读 ReadAhead: 开启预读,在读时,预先把后面顺序的数据载入raid卡缓存,在顺序读,有良好的性能,在随机读,性能下降(适合文件系统,不适合数据库系统) ReadAdaptive: 自适应预读,在缓存和I/O空闲时选择预读,默认策略 3) 读策略 Direct: 读操作,不缓存到RAID卡缓存 Cached: 读操作,缓存到RAID卡缓存 4) 电池策略 No Write Cache if Bad BBU: 如果BBU(电池)出问题,不使用写缓存(从WriteBack自动切换到WriteThrough,默认) Write Cache OK if Bad BBU: 如果BBU(电池)出问题,使用写缓存(有UPS或者双电源的情况) 3、RAID卡策略更改 1) 修改WriteBack MegaCli64 -LDSetProp -WB -Lall -aAll 2) 修改WriteThrough MegaCli64 -LDSetProp -WT -Lall -aAll 3) 修改No Write Cache if Bad BBU MegaCli64 -LDSetProp -NoCachedBadBBU -Lall -aAll 4) 修改Write Cache OK if Bad BBU: MegaCli64 -LDSetProp -CachedBadBBU -Lall -aAll
2、其它相关命令
# dmidecode | grep"Product" #查看机器型号 # dmidecode| grep "Manufacturer" #查看厂商 # dmidecode | grep "Serial Number" #查看序列号 # dmidecode | grep "CPU" #查看CPU信息 # dmidecode | grep "Socket Designation: CPU" |wc –l #查看CPU个数 # dmidecode | grep"Date" #查看出厂日期 # MegaCli64 -AdpBbuCmd-GetBbuStatus -aALL |grep "Charger Status" #查看充电状态 # MegaCli64 -AdpBbuCmd-GetBbuStatus –aALL #显示BBU状态信息 # MegaCli64 -AdpBbuCmd-GetBbuCapacityInfo –aALL #显示BBU容量信息 # MegaCli64 -AdpBbuCmd-GetBbuDesignInfo –aALL #显示BBU设计参数 # MegaCli64 -AdpBbuCmd-GetBbuProperties –aALL #显示当前BBU属性 # MegaCli64 -AdpBbuCmd-GetBbuStatus -aALL |grep "Relative State of Charge" #查看充电进度百分比 # MegaCli64 -cfgdsply -aALL|grep "Number of DISK GROUPS:" #查询Raid阵列数 # MegaCli64-cfgdsply –aALL #显示Raid卡型号,Raid设置,Disk相关信息 # MegaCli64 -PDList-aALL #显示所有物理信息 # MegaCli64 -LDInfo -LALL–aAll #显示所有逻辑磁盘组信息 # MegaCli64 -PDRbld-ShowProg -PhysDrv [1:5] -a0 #查看物理磁盘重建进度(重要) # MegaCli64 –adpCount #查看适配器个数 # MegaCli64 -AdpGetTime–aALL #查看适配器时间 # MegaCli64 -AdpAllInfo–aAll #显示所有适配器信息 # MegaCli64 -cfgdsply -aALL|grep Polic #查看Cache 策略设置
七、Redis
1、Redis与Memcached对比
Memcached: 不支持持久化，纯set或get性能高过redis，简单易用，支持类型单一，没有验证。
Redis: 支持持久化，易用，支持多种数据类型，支持集群，有基础验证。
SSDB: 兼容redis,支持存储分级
2、Redis的安装
1、编译安装 # wget http://download.redis.io/releases/redis-3.0.7.tar.gz # tar zxvf redis-3.0.7.tar.gz # cd redis-3.0.7 # make PREFIX=/usr/local/redis/ install # cp utils/redis_init_script /etc/init.d/redis # chmod +x /etc/init.d/redis # mkdir /etc/redis # cp redis.conf /etc/redis/6379.conf 2、修改启动脚本 # vim /etc/init.d/redis EXEC=/usr/local/redis/bin/redis-server CLIEXEC=/usr/local/redis/bin/redis-cli $CLIEXEC -h 10.1.1.11 -p $REDISPORT -a 123456 shutdown #停止脚本要加IP和密码 3、修改配置文件 # vim /etc/redis/6379.conf daemonize yes #开启后台启动 pidfile /var/run/redis_6379.pid bind 172.16.1.211 logfile "/var/log/redis_6379.log" #日志目录 dir /var/lib/redis_6379/ #持久化目录 requirepass 123456 #设置密码 # mkdir /var/lib/redis_6379 4、启动Redis /etc/init.d/redis start 5、修复启动时的告警信息 # less /var/log/redis_6379.log #查看告警 # vim /etc/sysctl.conf vm.overcommit_memory = 1 #内存分配策略 # vim /etc/rc.local echo never > /sys/kernel/mm/transparent_hugepage/enabled #禁用大页内存 echo 1024 > /proc/sys/net/core/somaxconn #系统的baklog大小 vm.overcommit_memory(内存分配策略) 0: 内核会检查是否有可用内存使用,若有,分配给应用,否则不分配,并返回错误给应用 1: 内核允许分配所有的物理内存,不管内存的状态 2: 内核允许分配超过所有物理内存和交换空间总和的内存
3、Redis的数据类型
参考资料：http://doc.redisfans.com 1、Redis基础命令 # redis-cli -h 172.16.1.211 -a 123456 #登陆Redis 6379> auth 123456 #登录密码 6379> set name linux #新建一个key值 6379> get name #获取一个Key值 6379> keys * #查看所有key值,生产不要用 6379> EXISTS name #查看一个key值是否存在 6379> del name #删除一个Key值 6379> type name #查看Key的类型 2、字符串 6379> SET page_view 20 6379> INCR page_view #将 key 的值自增1 6379> DECR page_view #将 key 的值自减1 6379> DECRBY page_view 2 #将 key 的值自减2 3、哈希(hash) 6379> HSET car price 20000 6379> HSET car name BMW #新建哈希表car并设置key和值 6379> HGETALL car #获取哈希表所有key和值 1) "price" 2) "20000" 3) "name" 4) "BMW" 6379> HGET car price #获取哈希表指定key的值 6379> HDEL car name #删除哈希表指定key 6379> HKEYS car 1) "price" 2) "name" 6379> HLEN car #获取哈希值长度 4、列表(list) 6379> llen number #查看列表长度 6379> LPUSH number 1 #从列表左侧插入 6379> RPUSH number 5 #从列表右侧插入 6379> LRANGE number 0 -1 #获取所有列表值 6379> LPOP number #从左侧删除列表值 5、集合(Set) 6379> sadd a 1 #创建集合 6379> SMEMBERS a #获取集合 6379> SISMEMBER a 1 #判断1是否在集合a中 6379> SDIFF a b #查看a和b集合的差集 6379> SINTER a b #查看a和b集合的交集 6379> SUNION a b #查看a和b集合的并集
4、Redis的持久化
1、Redis的持久化介绍 RDB: 在指定的时间间隔内,生成快照 AOF: 记录所有执行写操作命令,在服务器启动时,通过重新执行命令来还原数据,支持AOF文件的重写(rewrite) ##生产环境两种同时用 参考资料：http://doc.redisfans.com/topic/persistence.html 2、开启RDB快照 1) 修改配置文件 # vim /etc/redis/6379.conf save 900 1 #900秒内有1个KEY改变,就保存一次 save 300 10 #300秒内有10个KEY改变,就保存一次 save 60 10000 #60秒内有10000个KEY改变,就保存一次 dbfilename dump_6379.rdb #快照名 dir /var/lib/redis_6379/ #快照目录 rdbcompression yes #开启快照压缩(消耗cpu) 3、开启AOF 1) 修改配置文件 # vim /etc/redis/6379.conf appendonly yes #是否开启AOF，默认关闭（no） appendfilename appendonly.aof #指定 AOF 文件名 appendfsync everysec no-appendfsync-on-rewrite yes auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb 如果同时开启rdb和aof,会采用aof方式 2) Redis刷写模式 appendfsync always #每次收到写命令立即写入磁盘,安全性高,速度慢 appendfsync everysec #每秒写入磁盘,在性能和安全做了折中(推荐) appendfsync no #完全依赖OS的写入,性能好,安全性低,(linux默认是30秒一次,不推荐) 3) Redis的rewrite no-appendfsync-on-rewrite yes #yes: 重写期间对新写操作不fsync,暂时存在内存中,等重写完再写入 auto-aof-rewrite-percentage 100 #当前aof文件大小是上次的2倍时,自动开启重写 auto-aof-rewrite-min-size 64mb #当aof文件达到64m,自动开启重写
5、Redis的主从复制
1、Redis的复制介绍 1) Redis 使用异步复制,从以每秒一次的频率,向主报告复制流 2) 一个主可有多个从,一个从也可有多个从,主从复制不会阻塞主和从 3) 关闭主的持久化,设置主从复制,开启从的持久化,主的性能会提升 参考资料：http://doc.redisfans.com/topic/replication.html 2、开启主从复制 6379> slaveof 192.168.1.1 6379
八、Redis的集群
1、redis的几种集群方案
1.客户端分片 2.代理分片 3.Redis-Cluster: 案例少，专用客户端，故障多 4.Codis： 案例多，dashboard,有迁移工具，需要zookeeper或者etctd
2、软件相关
java软件 jdk-8u151-linux-x64.tar.gz zookeeper zookeeper-3.4.10.tar.gz go软件 go1.8.linux-amd64.tar.gz codis codis-3.2.11
3、端口相关
zookeeper 2181(客户端连接的端口) 2888(集群通讯端口) 3888(集群选举端口) codis-dashboard 18080(dashboard接口端口) codis-proxy 19000(proxy端口) codis-fe 9090(集群管理面板FE)
4、安装部署Zookeeper集群
1、安装Java
旧版本Java: https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html # cd /usr/local/src/ # wget https://download.oracle.com/otn/java/jdk/8u151-b12/f6dcbf/jre-8u151-linux-x64.tar.gz --no-check-certificate # tar -zxvf jdk-8u151-linux-x64.tar.gz # mv jdk1.8.0_151 /usr/local/ # cd /usr/local/ # ln -sv jdk1.8.0_151 jdk # vim /etc/profile export JAVA_HOME=/usr/local/jdk export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar # source /etc/profile # java -version 2、安装Zookeeper 方法1 ① 下载并解压 # wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz # tar -zxvf zookeeper-3.4.10.tar.gz # mv zookeeper-3.4.10 /usr/local/ # ln -s /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper ② 创建数据目录和id # mkdir -p /data/zk1 /data/zk2 /data/zk3 # echo "1" >/data/zk1/myid #服务id,不能相同 # echo "2" >/data/zk2/myid # echo "3" >/data/zk3/myid ③ 修改配置文件 # cd /usr/local/zookeeper/conf # grep '^[a-z]' zoo.cfg tickTime=2000 #心跳间隔,单位毫秒,2000毫秒=2秒 initLimit=10 #选举时间间隔,10*2000=20秒 syncLimit=5 #集群通讯时间间隔,5*2000=10秒 dataDir=/data/zk1 #数据目录 clientPort=2181 #客户端连接端口 server.1=172.16.1.211:3181:4181 #1=服务id,ip:集群通讯端口:集群选举端口 server.2=172.16.1.211:3182:4182 server.3=172.16.1.211:3183:4183 # cp zoo.cfg zk1.cfg # cp zoo.cfg zk2.cfg # cp zoo.cfg zk3.cfg # sed -i 's/zk1/zk2/g' zk2.cfg # sed -i 's/zk1/zk3/g' zk3.cfg #数据目录 # sed -i 's/2181/2182/g' zk2.cfg #端口 # sed -i 's/2181/2183/g' zk3.cfg ④ 启动3个Zookeeper # /usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zk1.cfg # /usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zk2.cfg # /usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zk3.cfg ⑤ 连接上zookeeper # /usr/local/zookeeper/bin/zkCli.sh -server 172.16.1.211:2181
⑥ 查看集群节点状态
# /usr/local/zookeeper/bin/zkServer.sh status /usr/local/zookeeper/conf/zk1.cfg
Mode: follower #备用节点
# /usr/local/zookeeper/bin/zkServer.sh status /usr/local/zookeeper/conf/zk3.cfg
Mode: leader #主节点
# /usr/local/zookeeper/bin/zkServer.sh status /usr/local/zookeeper/conf/zk3.cfg
Mode: follower #备用节点
方法2 ① 下载并解压 # cd /usr/local/src/ # wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz # tar -zxvf zookeeper-3.4.10.tar.gz # mv zookeeper-3.4.10 /usr/local/ # cd /usr/local/ # ln -sv zookeeper-3.4.10 zookeeper ② 创建数据目录和id # mkdir /data/zookeeper/data -p ③ 修改配置文件(所有节点) # cd /usr/local/zookeeper/conf/ # cp zoo_sample.cfg zoo.cfg # vim zoo.cfg dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/log clientPort=2181 server.1=192.168.10.5:2888:3888 server.2=192.268.10.6:2888:3888 server.3=192.268.10.7:2888:3888 # vim /etc/profile export PATH=$PATH:/usr/local/zookeeper/bin # source /etc/profile ④ 创建服务ID(node01) # echo "1" > /data/zookeeper/data/myid ⑤ 创建服务ID(node02) # echo "2" > /data/zookeeper/data/myid ⑥ 创建服务ID(node03) # echo "3" > /data/zookeeper/data/myid ⑦ zookeeper的启动、停止 # /usr/local/zookeeper/bin/zkServer.sh start #启动 # /usr/local/zookeeper/bin/zkServer.sh stop #停止 # /usr/local/zookeeper/bin/zkServer.sh status #状态 ⑧ zookeeper查看状态 # /usr/local/zookeeper/bin/zkServer.sh status /usr/local/zookeeper/conf/zoo.cfg ⑨ zk管理 # /usr/local/zookeeper/bin/zkCli.sh -server 192.168.10.5:2181 help ls / ls /zookeeper rmr /zk/codis/db_xiao/dasbboarsh #删除(慎用)
5、安装Codis
方法1 ① 安装依赖包和GO环境 # yum install gcc glibc gcc-c++ make git # wget https://storage.googleapis.com/golang/go1.6.1.linux-amd64.tar.gz --no-check-certificate # tar -zxvf go1.6.1.linux-amd64.tar.gz # mv go /usr/local/ ② 创建GOPATH: # mkdir /usr/local/go/work # vim /etc/profile>> export GOROOT=/usr/local/go export GOPATH=/usr/local/go/work export PATH=$JAVA_HOME/bin:$PATH:$GOROOT/bin:$GOPATH/bin # source /etc/profile # go version ③ 下载Codis源码并编译 # go get -u -d github.com/CodisLabs/codis #下载codis # go get github.com/tools/godep #下载godep工具 # cd $GOPATH/src/github.com/tools/godep # go install ./ #安装godep # cd $GOPATH/src/github.com/CodisLabs/codis # make && make gotest #安装codis 方法2 ① 安装go环境 # cd /usr/local/src # wget https://redirector.gvt1.com/edgedl/go/go1.8.5.linux-amd64.tar.gz --no-check-certificate # tar -zxvf go1.8.5.linux-amd64.tar.gz # mv go /usr/local ② 创建GOPATH # mkdir /usr/local/go/work # vim /etc/profile export GOARCH=amd64 export GOOS=linux export GOROOT=/usr/local/go export GOPATH=/usr/local/go/work export PATH=$PATH:$GOROOT/bin:$GOPATH/bin # source /etc/profile # go version ③ 下载Codis源码并编译 # yum install gcc glibc gcc-c++ make git autoconf -y # mkdir $GOPATH/src/github.com/CodisLabs -p # cd $GOPATH/src/github.com/CodisLabs # git clone https://github.com/CodisLabs/codis.git -b release3.2 # cd codis # make ④ 创建codis数据和日志目录 # mkdir /usr/local/codis/{data,log} -p # cp -ar /usr/local/go/work/src/github.com/CodisLabs/codis/bin /usr/local/codis/ # cp -ar /usr/local/go/work/src/github.com/CodisLabs/codis/config /usr/local/codis/ # cp -ar /usr/local/go/work/src/github.com/CodisLabs/codis/admin /usr/local/codis/ ⑤ 修改环境变量 # vim /etc/profile export PATH=$PATH:/usr/local/codis/bin # source /etc/profile
6、codis-dashboard 部署
1、修改配置文件
# cd /usr/local/codis/config/ # grep -Ev '^#|^$' dashboard.toml coordinator_name = "zookeeper" #外部存储类型 coordinator_addr = "192.168.10.5:2181,192.168.10.6:2181,192.168.10.7:2181" #外部存储地址 product_name = "codis-ph" #集群名 product_auth = "" #集群密码,默认是空 admin_addr = "0.0.0.0:18080" #api端口 migration_method = "semi-async" migration_parallel_slots = 100 migration_async_maxbulks = 200 migration_async_maxbytes = "32mb" migration_async_numkeys = 500 migration_timeout = "30s" sentinel_quorum = 2 sentinel_parallel_syncs = 1 sentinel_down_after = "30s" sentinel_failover_timeout = "5m" sentinel_notification_script = "" sentinel_client_reconfig_script = "" 2、启动、停止codis-dashboard服务
方法1 # /usr/local/codis/admin/codis-dashboard-admin.sh start #启动 # /usr/local/codis/admin/codis-dashboard-admin.sh stop #停止 方法2
# nohup /usr/local/codis/bin/codis-dashboard --ncpu=2 -c /usr/local/codis/config/dashboard.toml
--log=/usr/local/codis/log/dashboard.log --log-level=WARN & #启动
--ncpu 最大CPU 个数
-c,--config 指定配置文件
-l,--log 设置日志文件
--log-level 设置日志级别(INFO,WARN,DEBUG,ERROR,默认INFO,推荐WARN) # /usr/local/codis/bin/codis-admin --dashboard=192.168.10.5:18080 --shutdown #停止
7、codis-porxy 部署(本机启动了dashboard时)
1、修改配置文件
# cd /usr/local/codis/config/ # grep -Ev '^#|^$' proxy.toml product_name = "codis-ph" #集群名 product_auth = "" #集群密码 session_auth = "" admin_addr = "0.0.0.0:11080" #api地址 proto_type = "tcp4" #redis端口类型(tcp/tcp4/tcp6/unix/unixpacket) proxy_addr = "0.0.0.0:19000" #Redis端口地址 jodis_name = "zookeeper" #注册zookeeper地址 jodis_addr = "192.168.10.5:2181,192.168.10.6:2181,192.168.10.7:2181" jodis_timeout = "20s" #注册session timeout时间,单位秒 jodis_compatible = false #注册zookeeper的路径 proxy_datacenter = "" proxy_max_clients = 1000 proxy_max_offheap_size = "1024mb" proxy_heap_placeholder = "256mb" backend_ping_period = "5s" #与codis-server的ping间隔,单位是秒,0:禁止 backend_recv_bufsize = "128kb" backend_recv_timeout = "30s" backend_send_bufsize = "128kb" backend_send_timeout = "30s" backend_max_pipeline = 1024 backend_primary_only = false backend_primary_parallel = 1 backend_replica_parallel = 1 backend_keepalive_period = "75s" backend_number_databases = 16 session_recv_bufsize = "128kb" session_recv_timeout = "30m" session_send_bufsize = "64kb" session_send_timeout = "30s"
session_max_timeout #与client连接超时时间,单位是秒,0:禁止
session_max_bufsize #与client连接缓冲区大小,单位:byte(字节) session_max_pipeline = 10000 #与client连接最大的pipeline大小 session_keepalive_period = "75s" #与client的tcp keepalive周期,仅tcp有效,0:禁止 session_break_on_failure = false metrics_report_server = "" metrics_report_period = "1s" metrics_report_influxdb_server = "" metrics_report_influxdb_period = "1s" metrics_report_influxdb_username = "" metrics_report_influxdb_password = "" metrics_report_influxdb_database = "" metrics_report_statsd_server = "" metrics_report_statsd_period = "1s" metrics_report_statsd_prefix = "" 2、启动codis-proxy服务,关闭
方法1 # /usr/local/codis/admin/codis-proxy-admin.sh start #启动 # /usr/local/codis/admin/codis-proxy-admin.sh stop #停止 方法2 # nohup /usr/local/codis/bin/codis-proxy --ncpu=2 --config=/usr/local/codis/config/proxy.toml
--log=/usr/local/codis/log/proxy.log --log-level=WARN & #启动 # /usr/local/codis/bin/codis-admin --proxy=192.168.10.5:11080 --shutdown #停止 # /usr/local/codis/bin/codis-admin --proxy=192.168.10.5:11080 --auth="xxx" --shutdown #有密码关闭
3、添加到集群
1) 命令添加
# /usr/local/codis/bin/codis-admin --dashboard=192.168.10.5:18080 --create-proxy -x 192.168.10.5:11080
dashboard地址 proxy的admin_addr地址
2) web界面添加
通过codis-fe添加,点击Add Proxy按钮,填写IP地址和端口(192.168.10.5:11080),加入到集群中
8、codis-porxy 部署(本机没有启动了dashboard时)
1、修改配置文件
# cd /usr/local/codis/config/ # grep -Ev '^#|^$' proxy.toml product_name = "codis-ph" product_auth = "" session_auth = "" admin_addr = "0.0.0.0:11080" proto_type = "tcp4" proxy_addr = "0.0.0.0:19000" jodis_name = "zookeeper" jodis_addr = "192.168.10.5:2181,192.168.10.6:2181,192.168.10.7:2181" jodis_timeout = "20s" jodis_compatible = false proxy_datacenter = "" proxy_max_clients = 1000 proxy_max_offheap_size = "1024mb" proxy_heap_placeholder = "256mb" backend_ping_period = "5s" backend_recv_bufsize = "128kb" backend_recv_timeout = "30s" backend_send_bufsize = "128kb" backend_send_timeout = "30s" backend_max_pipeline = 1024 backend_primary_only = false backend_primary_parallel = 1 backend_replica_parallel = 1 backend_keepalive_period = "75s" backend_number_databases = 16 session_recv_bufsize = "128kb" session_recv_timeout = "30m" session_send_bufsize = "64kb" session_send_timeout = "30s" session_max_pipeline = 10000 session_keepalive_period = "75s" session_break_on_failure = false metrics_report_server = "" metrics_report_period = "1s" metrics_report_influxdb_server = "" metrics_report_influxdb_period = "1s" metrics_report_influxdb_username = "" metrics_report_influxdb_password = "" metrics_report_influxdb_database = "" metrics_report_statsd_server = "" metrics_report_statsd_period = "1s" metrics_report_statsd_prefix = ""
2、修改管理脚本 # vim /usr/local/codis/admin/codis-proxy-admin.sh CODIS_DASHBOARD_ADDR="172.16.1.10:18080" #指向dashborad服务器 3、启动codis-proxy服务,关闭 方法1
/usr/local/codis/admin/codis-proxy-admin.sh start #启动 /usr/local/codis/admin/codis-proxy-admin.sh stop #关闭 方法2 # nohup /usr/local/codis/bin/codis-proxy --ncpu=2 --config=/usr/local/codis/config/proxy.toml
--log=/usr/local/codis/log/proxy.log --log-level=WARN & #启动 # /usr/local/codis/bin/codis-admin --proxy=192.168.10.6:11080 --shutdown #关闭 # /usr/local/codis/bin/codis-admin --proxy=192.168.10.6:11080 --auth="xxx" --shutdown #有密码关闭
4、添加到集群
1) 命令添加
# /usr/local/codis/bin/codis-admin --dashboard=192.168.10.5:18080 --create-proxy -x 192.168.10.6:11080
dashboard地址 proxy的admin_addr地址
2) web界面添加
通过codis-fe添加,点击Add Proxy按钮,填写IP地址和端口(192.168.10.6:11080),加入到集群中
9、codis-fe 部署
1、修改配置文件 # cd /usr/local/codis/config # vim codis-fe.json [ { "name": "codis-pinhui", "dashboard": "192.169.10.5:18080" } ] 配置文件codis-fe.json可手动编辑,也可用codis-admin从外部存储中拉取
# /usr/local/codis/bin/codis-admin --dashboard-list --zookeeper=127.0.0.1:2181 | tee codis.json
[
{
"name": "codis-demo",
"dashboard": "127.0.0.1:18080"
},
{
"name": "codis-demo2",
"dashboard": "127.0.0.1:28080"
}
]
2、修改启动脚本 # vim /usr/local/codis/admin/codis-fe-admin.sh nohup "$CODIS_FE_BIN" "--dashboard-list=/usr/local/codis/config/codis-fe.json" 3、启动codis-fe服务,停止 # /usr/local/codis/admin/codis-fe-admin.sh start # /usr/local/codis/admin/codis-fe-admin.sh stop 4、启动codis-fe服务 # nohup /usr/local/codis/bin/codis-fe --ncpu=2 --log=/codis/log/codis-fe.log --log-level=WARN
--dashboard-list=/codis/config/codis-fe.json --listen=0.0.0.0:9090 &
-d,--dashboard-list 配置文件,能够自动刷新
--listen HTTP 服务端口
# 关闭服务: kill 进程 5、访问codis-fe http://192.168.10.5:9090/#codis-pinhui
10、codis-server 部署
1、配置codis-server文件 # cd /usr/local/codis/config/ # grep -Ev "^$|^#" redis.conf bind 127.0.0.1 192.168.10.5 protected-mode yes port 6379 maxmemory 1g #设置最大内存,否则codis无法使用 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize yes supervised no pidfile /usr/local/codis/log/redis_6379.pid loglevel notice logfile "/usr/local/codis/log/redis_6379.log" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir /usr/local/codis/data/ appendonly no appendfilename "appendonly.aof" 2、配置codis-server启动脚本 # vim /usr/local/codis/admin/codis-server-admin.sh CODIS_SERVER_BIN=$CODIS_BIN_DIR/codis-server CODIS_SERVER_PID_FILE=/usr/local/codis/log/redis_6379.pid CODIS_SERVER_LOG_FILE=/usr/local/codis/log/redis_6379.log CODIS_SERVER_DAEMON_FILE=$CODIS_LOG_DIR/codis-server.out 3、启动codis-server # /usr/local/codis/admin/codis-server-admin.sh start # /usr/local/codis/admin/codis-server-admin.sh stop 4、配置多实例codis-server 1) 修改配置文件 # cp redis.conf redis_6381.conf # cp redis_6381.conf redis_6382.conf # cp redis_6381.conf redis_6383.conf # cp redis_6381.conf redis_6384.conf # sed -i 's/6381/6382/g' redis_6382.conf # sed -i 's/6381/6383/g' redis_6383.conf # sed -i 's/6381/6384/g' redis_6384.conf 2) 启动 # ./bin/codis-server ./redis_6381.conf # ./bin/codis-server ./redis_6382.conf # ./bin/codis-server ./redis_6383.conf # ./bin/codis-server ./redis_6384.conf
11、codis-server sentinel 部署
1、修改sentinel配置文件 # cd /usr/local/codis/config/ # vim sentinel.conf bind 127.0.0.1 192.168.10.5 port 26379 daemonize yes logfile "/usr/local/codis/log/sentinel.log" pidfile "/usr/local/codis/log/sentinel.pid" 2、启动sentinel服务 # /usr/local/codis/bin/redis-sentinel /usr/local/codis/config/sentinel.conf
12、codis-admin命令工具
1、codis-dashboard 异常退出的修复 codis-dashboard 启动时,数据在外部存储上,安全退出,会自动删除数据,异常退出,lock未删除,重启会失败 1) 确认codis-dashboard进程已经退出(很重要) # ps -ef | grep codis-dashboard 2) 运行codis-admin删除 LOCK # ./bin/codis-admin --remove-lock --product=codis-demo --zookeeper=127.0.0.1:2181 2、codis-proxy异常退出的修复 codis-proxy的移除: codis-dashboard向codis-proxy发送offline指令,成功后将proxy信息从外部存储中移除 1) 确认 codis-proxy 进程已经退出(很重要) # ps -ef | grep codis-proxy 2) 运行 codis-admin 删除 proxy # ./bin/codis-admin --dashboard=127.0.0.1:18080 --remove-proxy --addr=127.0.0.1:11080 --force
13、codis集群管理界面
① 通过fe添加group
访问192.168.10.5:9090,点击 NEW GROUP,输入1(组ID),再点击 NEW GROUP,添加完成
② 添加实例(后端的codis-server)
在新组id是1,点击Add Server,输入codis-server地址,后再点击 Add Server,添加完成
③ 对slots进行分片
如图所示,输入分组的slots的起和止的范围,然后输入组ID,点击后面按钮即可
④ 添加管理proxy
在proxy管理界面,输入proxy的ip和端口,点击Add proxy即可
⑤ 通过codis-proxy连接codis-server进行测试
# redis-cli -h 192.168.10.6 -p 11080 set name tom # redis-cli -h 192.168.10.6 -p 11080 set name jack # redis-cli -h 192.168.10.6 -p 11080 set age 11
web界面验证key是否添加完成
⑥ 在zookeeper查看codis相关信息(group,slots,proxy)
# /usr/local/zookeeper/bin/zkCli.sh -server
