redis
下载
解压，改名
进入、编译
启动（后ctrl+c退出）
进入
退出:
修改配置
vim:要写的内容
后台运行
daemonize yes
改端口
port 1111
port 1111
日志文件位置
logfile /var/log/redis.log
logfile /var/log/redis.log
RDB持久化数据文件
dbfilename dump.rdb
dbfilename dump.rdb
持久化文件位置
dir /data/redis
dir /data/redis
创建日志文件、启动、进入
修改安全配置
vi /etc/redis.conf
添加以下配置：
vi /etc/redis.conf
添加以下配置：
绑定i
bind
10.0.0.128 127.0.0.1
添加完成后重启redis
进入 /application/redis/src/redis-cli -p 1111
bind
10.0.0.128 127.0.0.1添加完成后重启redis
进入 /application/redis/src/redis-cli -p 1111
检测是否配置成功：登录测试
先关闭redis shutdown
再启动 /application/redis/src/redis-server /etc/redis.conf
再进入 /application/redis/src/redis-cli -h10.0.0.128 -p 1111
先关闭redis shutdown
再启动 /application/redis/src/redis-server /etc/redis.conf
再进入 /application/redis/src/redis-cli -h
10.0.0.128 -p 1111成功展示：
检测是否有redis进程在运行
配置密码
requirepass 123
启动、进入加密码、检测
或者启动、进入不加密码、进入后auth 密码、检验
在线改密码
配置redis集群、python
操作系统本身的内存管理机制： 1、分配内存 slab 2、浪费 buddy system 3、回收 buddy system LRU ========================================= redis安装配置 下载： wget http://download.redis.io/releases/redis-3.2.10.tar.gz 解压： tar xzf redis-3.2.10.tar.gz mv redis-3.2.10 redis 安装： cd redis make 启动： src/redis-server & -------- 配置文件的使用 vi /etc/redis.conf 是否后台运行： daemonize yes 默认端口： port 6379 日志文件位置 logfile /var/log/redis.log RDB持久化数据文件: dbfilename dump.rdb 持久化文件的位置： dir /data/redis mkdir -p /data/redis /application/redis/src/redis-server /etc/redis.conf /application/redis/src/redis-cli -p 1111 安全配置 Bind 指定IP进行监听 bind 10.0.0.200 127.0.0.1 禁止protected-mode protected-mode yes/no （保护模式，是否只允许本地访问） 增加requirepass {password} requirepass root 在redis-cli中使用 auth {password} 进行认证 修改安全配置 vi /etc/redis.conf 添加以下配置： bind 10.0.0.200 127.0.0.1 requirepass 123 添加完成后重启redis [root@oldboyedu-s6 ~]# /application/redis/src/redis-cli -p 1111 127.0.0.1:1111> shutdown /application/redis/src/redis-server /etc/redis.conf 登录测试： /application/redis/src/redis-cli -h 10.0.0.200 -p 1111 /application/redis/src/redis-cli -h 10.0.0.200 -a 123 -p 1111 或者： /application/redis/src/redis-cli -h 10.0.0.200 -p 1111 auth 123 在线修改配置 获取当前配置 CONFIG GET * 变更运行配置 CONFIG SET requirepass 123456 /application/redis/src/redis-cli -a 123456 -h 10.0.0.200 -p 1111 ------------------- redis持久化 RDB持久化 基于时间点快照的方式，复用方式进行数据持久化 比较常用的方式，效率较高，安全性相对较低 在 /etc/redis.conf中添加以下内容 dbfilename dump.rdb dir /data/redis save 900 1 save 300 10 save 60 10000 rdb文件名 rdb的放置路径 900秒（15分钟）内有1个更改 300秒（5分钟）内有10个更改 60秒内有10000个更改 AOF 只追加的方式记录所有redis中执行过的修改类命令 效率相对较低，安全性较高 appendonly yes appendfsync always或者everysec或者no ------------------------------ 数据类型： Key:value(stringhashlistsetSset) -----全局类操作 KEYS * 查看KEY支持通配符 DEL 删除给定的一个或多个key EXISTS 检查是否存在 RENAME 变更KEY名 TYPE 返回键所存储值的类型 EXPIRE PEXPIRE 以秒毫秒设定生存时间 TTL PTTL 以秒毫秒为单位返回生存时间 PERSIST 取消生存实现设置 --------string--------- 增 set mykey "test" 为键设置新值，并覆盖原有值 getset mycounter 0 设置值,取值同时进行 setex mykey 10 "hello" 设置指定 Key 的过期时间为10秒,在存活时间可以获取value setnx mykey "hello" 若该键不存在，则为键设置新值 mset key3 "zyx" key4 "xyz" 批量设置键 删 del mykey 删除已有键 改 append mykey "hello" 若该键并不存在,返回当前 Value 的长度 该键已经存在，返回追加后 Value的长度 incr mykey 值增加1,若该key不存在,创建key,初始值设为0,增加后结果为1 decrby mykey 5 值减少5 setrange mykey 20 dd 把第21和22个字节,替换为dd, 超过value长度,自动补0 查 exists mykey 判断该键是否存在，存在返回 1，否则返回0 get mykey 获取Key对应的value strlen mykey 获取指定 Key 的字符长度 ttl mykey 查看一下指定 Key 的剩余存活时间(秒数) getrange mykey 1 20 获取第2到第20个字节,若20超过value长度,则截取第2个和后面所有的 mget key3 key4 批量获取键 ----------------------------- 应用场景 常规计数：微博数，粉丝数等 incr incrby decr decrby ----------------------------- HASH类型 增 hset myhash field1 "s" 若字段field1不存在,创建该键及与其关联的Hashes, Hashes中,key为field1 ,并设value为s ，若存在会覆盖原value hsetnx myhash field1 s 若字段field1不存在,创建该键及与其关联的Hashes, Hashes中,key为field1 ,并设value为s， 若字段field1存在,则无效 hmset myhash field1 "hello" field2 "world 一次性设置多个字段 删 hdel myhash field1 删除 myhash 键中字段名为 field1 的字段 del myhash 删除键 改 hincrby myhash field 1 给field的值加1 查 hget myhash field1 获取键值为 myhash,字段为 field1 的值 hlen myhash 获取myhash键的字段数量 hexists myhash field1 判断 myhash 键中是否存在字段名为 field1 的字段 hmget myhash field1 field2 field3 一次性获取多个字段 hgetall myhash 返回 myhash 键的所有字段及其值 hkeys myhash 获取myhash 键中所有字段的名字 hvals myhash 获取 myhash 键中所有字段的值 应用场景： 存储部分变更的数据，如用户信息等。需要将MySQL表数据进行缓存时，可以使用此种数据类型。 -------------------------------- 增 lpush mykey a b 若key不存在,创建该键及与其关联的List,依次插入a ,b， 若List类型的key存在,则插入value中 lpushx mykey2 e 若key不存在,此命令无效， 若key存在,则插入value中 linsert mykey before a a1 在 a 的前面插入新元素 a1 linsert mykey after e e2 在e 的后面插入新元素 e2 rpush mykey a b 在链表尾部先插入b,在插入a rpushx mykey e 若key存在,在尾部插入e, 若key不存在,则无效 rpoplpush mykey mykey2 将mykey的尾部元素弹出,再插入到mykey2 的头部(原子性的操作) 删 del mykey 删除已有键 lrem mykey 2 a 从头部开始找,按先后顺序,值为a的元素,删除数量为2个,若存在第3个,则不删除 ltrim mykey 0 2 从头开始,索引为0,1,2的3个元素,其余全部删除 改 lset mykey 1 e 从头开始, 将索引为1的元素值,设置为新值 e,若索引越界,则返回错误信息 rpoplpush mykey mykey 将 mykey 中的尾部元素移到其头部 查 lrange mykey 0 -1 取链表中的全部元素，其中0表示第一个元素,-1表示最后一个元素。 lrange mykey 0 2 从头开始,取索引为0,1,2的元素 lrange mykey 0 0 从头开始,取第一个元素,从第0个开始,到第0个结束 lpop mykey 获取头部元素,并且弹出头部元素,出栈 lindex mykey 6 从头开始,获取索引为6的元素 若下标越界,则返回nil 应用场景 消息队列系统 比如sina微博: 在Redis中我们的最新微博ID使用了常驻缓存，这是一直更新的。 但是做了限制不能超过5000个ID，因此获取ID的函数会一直询问Redis。只有在start/count参数超出了这个范围的时候，才需要去访问数据库。 系统不会像传统方式那样“刷新”缓存，Redis实例中的信息永远是一致的。 SQL数据库（或是硬盘上的其他类型数据库）只是在用户需要获取“很远”的数据时才会被触发，而主页或第一个评论页是不会麻烦到硬盘上的数据库了。 ------------------------ 集合 增 sadd myset a b c 若key不存在,创建该键及与其关联的set,依次插入a ,b,若key存在,则插入value中,若a 在myset中已经存在,则插入了 d 和 e 两个新成员。 删 spop myset 尾部的b被移出,事实上b并不是之前插入的第一个或最后一个成员 srem myset a d f 若f不存在, 移出 a、d ,并返回2 改 smove myset myset2 a 将a从 myset 移到 myset2， 查 sismember myset a 判断 a 是否已经存在，返回值为 1 表示存在。 smembers myset 查看set中的内容 scard myset 获取Set 集合中元素的数量 srandmember myset 随机的返回某一成员 sdiff myset1 myset2 myset3 1和2得到一个结果,拿这个集合和3比较,获得每个独有的值 sdiffstore diffkey myset myset2 myset3 3个集和比较,获取独有的元素,并存入diffkey 关联的Set中 sinter myset myset2 myset3 获得3个集合中都有的元素 sinterstore interkey myset myset2 myset3 把交集存入interkey 关联的Set中 sunion myset myset2 myset3 获取3个集合中的成员的并集 sunionstore unionkey myset myset2 myset3 把并集存入unionkey 关联的Set中 应用场景： 案例： 在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。 Redis还为集合提供了求交集、并集、差集等操作，可以非常方便的实现如共同关注、共同喜好、二度好友等功能， 对上面的所有集合操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。 --------------------------- 有序集合 增 zadd myzset 2 "two" 3 "three" 添加两个分数分别是 2 和 3 的两个成员 删 zrem myzset one two 删除多个成员变量,返回删除的数量 改 zincrby myzset 2 one 将成员 one 的分数增加 2，并返回该成员更新后的分数 查 zrange myzset 0 -1 WITHSCORES 返回所有成员和分数,不加WITHSCORES,只返回成员 zrank myzset one 获取成员one在Sorted-Set中的位置索引值。0表示第一个位置 zcard myzset 获取 myzset 键中成员的数量 zcount myzset 1 2 获取分数满足表达式 1 <= score <= 2 的成员的数量 zscore myzset three 获取成员 three 的分数 zrangebyscore myzset 1 2 获取分数满足表达式 1 < score <= 2 的成员 #-inf 表示第一个成员，+inf最后一个成员 #limit限制关键字 #2 3 是索引号 zrangebyscore myzset -inf +inf limit 2 3 返回索引是2和3的成员 zremrangebyscore myzset 1 2 删除分数 1<= score <= 2 的成员，并返回实际删除的数量 zremrangebyrank myzset 0 1 删除位置索引满足表达式 0 <= rank <= 1 的成员 zrevrange myzset 0 -1 WITHSCORES 按位置索引从高到低,获取所有成员和分数 #原始成员:位置索引从小到大 one 0 two 1 #执行顺序:把索引反转 位置索引:从大到小 one 1 two 0 #输出结果: two one zrevrange myzset 1 3 获取位置索引,为1,2,3的成员 #相反的顺序:从高到低的顺序 zrevrangebyscore myzset 3 0 获取分数 3>=score>=0的成员并以相反的顺序输出 zrevrangebyscore myzset 4 0 limit 1 2 获取索引是1和2的成员,并反转位置索引 应用场景： 排行榜应用，取TOP N操作 这个需求与上面需求的不同之处在于，前面操作以时间为权重，这个是以某个条件为权重， 比如按顶的次数排序，这时候就需要我们的sorted set出马了，将你要排序的值设置成sorted set的score，将具体的数据设置成相应的value，每次只需要执行一条ZADD命令即可。 -------------------------------------- PUBLISH channel msg 将信息 message 发送到指定的频道 channel SUBSCRIBE channel [channel ...] 订阅频道，可以同时订阅多个频道 PSUBSCRIBE pattern [pattern ...] 订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所 有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配所有 以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类 PUNSUBSCRIBE [pattern [pattern ...]] 退订指定的规则, 如果没有参数则会退订所有规则 PUBSUB sub command [argument [argument ...]] 查看订阅与发布系统状态 注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。 ------------------ DISCARD 取消事务，放弃执行事务块内的所有命令。 EXEC 执行所有事务块内的命令。 MULTI 标记一个事务块的开始。 UNWATCH 取消 WATCH 命令对所有 key 的监视。 WATCH key [key ...] 监视一个(或多个) key ，如果在事务执行之前这个(或这些) key 被其他命令所改动，那么事务将被打断。 --------------- 具体的命令---- watch命令 例: redis 127.0.0.1:6379> watch ticket OK redis 127.0.0.1:6379> multi OK redis 127.0.0.1:6379> decr ticket QUEUED redis 127.0.0.1:6379> decrby money 100 QUEUED //现在已经对ticket进行了监控，另外一个窗口将ticket改动了 另一个窗口：> decr ticket redis 127.0.0.1:6379> exec (nil) // 返回nil,说明监视的ticket已经改动了，事务就取消了.队列就不执行了。 redis 127.0.0.1:6379>mget ticket money "0" "200" watch key1 key2 ... keyN 作用:监听key1 key2..keyN有没有变化,如果任意一个有变, 则事务取消 unwatch 作用: 取消所有watch监听 ----------- redis管理类操作 Info Clinet list Client kill ip:port config get * CONFIG RESETSTAT 重置统计 CONFIG GET/SET 动态修改 Dbsize FLUSHALL 清空所有数据 select 1 FLUSHDB 清空当前库 MONITOR 监控实时指令 SHUTDOWN 关闭服务器 save将当前数据保存 SLAVEOF host port 主从配置 SLAVEOF NO ONE SYNC 主从同步 ROLE返回主从角色 ------------------ redis主从复制：基于RDB的快照技术，但是不依赖于RDB持久化。 环境： 准备两个或两个以上redis实例 mkdir -p /data/6380/ mkdir -p /data/6381/ mkdir -p /data/6382/ ------------- /data/6380/redis.conf /data/6381/redis.conf /data/6382/redis.conf 三套配置文件示例： vim /data/6380/redis.conf ---------------- bind 127.0.0.1 10.0.0.200 port 6380 daemonize yes pidfile /data/6380/redis.pid loglevel notice logfile "/data/6380/redis.log" dbfilename dump.rdb dir /data/6380 appendonly no appendfilename "appendonly.aof" appendfsync everysec slowlog-log-slower-than 10000 slowlog-max-len 128 protected-mode no vim /data/6381/redis.conf ---------------- bind 127.0.0.1 10.0.0.200 port 6381 daemonize yes pidfile /data/6381/redis.pid loglevel notice logfile "/data/6381/redis.log" dbfilename dump.rdb dir /data/6381 appendonly no appendfilename "appendonly.aof" appendfsync everysec slowlog-log-slower-than 10000 slowlog-max-len 128 protected-mode no vim /data/6382/redis.conf ---------------- bind 127.0.0.1 10.0.0.200 port 6382 daemonize yes pidfile /data/6382/redis.pid loglevel notice logfile "/data/6382/redis.log" dbfilename dump.rdb dir /data/6382 appendonly no appendfilename "appendonly.aof" appendfsync everysec slowlog-log-slower-than 10000 slowlog-max-len 128 protected-mode no 启动： /application/redis/src/redis-server /data/6380/redis.conf /application/redis/src/redis-server /data/6381/redis.conf /application/redis/src/redis-server /data/6382/redis.conf 查看启动状态 netstat -lnp|grep 638 主节点：6380 从节点：6381、6382 开启主从： 6381/6382命令行: redis-cli -p 6381 SLAVEOF 127.0.0.1 6380 redis-cli -p 6382 SLAVEOF 127.0.0.1 6380 ------------------- mkdir /data/26380 cp /application/redis/src/redis-sentinel /data/26380 cd /data/26380 ./redis-sentinel ./sentinel.conf vim sentinel.conf port 26380 dir "/tmp" sentinel monitor mymaster 127.0.0.1 6380 1 sentinel down-after-milliseconds mymaster 5000 sentinel config-epoch mymaster 0 启动 ./redis-sentinel ./sentinel.conf Python连接redis-sentinel集群 1、安装python3.5 tar xf Python-3.5.2.tar.xz cd Python-3.5.2 ./configure make && make install 2、安装redis的python驱动 unzip redis-py-master.zip cd redis-py-master python3 setup.py install 3、python3连接redis sentinel集群 python3 >>>from redis.sentinel import Sentinel >>>sentinel = Sentinel([('localhost', 26380)], socket_timeout=0.1) >>>sentinel.discover_master('mymaster') >>>sentinel.discover_slaves('mymaster') >>>master = sentinel.master_for('mymaster', socket_timeout=0.1) >>>slave = sentinel.slave_for('mymaster', socket_timeout=0.1) >>>master.set('foo', 'bar') >>>slave.get('foo') ----------------- redis cluser 安装集群软件 EPEL源安装ruby支持 yum install ruby rubygems -y 使用国内源 gem sources -a http://mirrors.aliyun.com/rubygems/ gem sources --remove http://rubygems.org/ gem sources -l gem install redis -v 3.3.3 -------------- 集群节点准备 规划： 端口：7000-7005 路径: 创建节点目录： mkdir -p /data/7000 mkdir -p /data/7001 mkdir -p /data/7002 mkdir -p /data/7003 mkdir -p /data/7004 mkdir -p /data/7005 配置文件添加： ------------------------- vim /data/7000/redis.conf port 7000 daemonize yes pidfile /data/7000/redis.pid logfile "/var/log/redis7000.log" dbfilename dump.rdb dir /data/7000 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes vim /data/7001/redis.conf port 7001 daemonize yes pidfile /data/7001/redis.pid logfile "/var/log/redis7001.log" dbfilename dump.rdb dir /data/7001 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes vim /data/7002/redis.conf port 7002 daemonize yes pidfile /data/7002/redis.pid logfile "/var/log/redis7002.log" dbfilename dump.rdb dir /data/7002 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes vim /data/7003/redis.conf port 7003 daemonize yes pidfile /data/7003/redis.pid logfile "/var/log/redis7003.log" dbfilename dump.rdb dir /data/7003 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes vim /data/7004/redis.conf port 7004 daemonize yes pidfile /data/7004/redis.pid logfile "/var/log/redis7004.log" dbfilename dump.rdb dir /data/7004 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes vim /data/7005/redis.conf port 7005 daemonize yes pidfile /data/7005/redis.pid logfile "/var/log/redis7005.log" dbfilename dump.rdb dir /data/7005 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes 启动所有节点 /application/redis/src/redis-server /data/7000/redis.conf /application/redis/src/redis-server /data/7001/redis.conf /application/redis/src/redis-server /data/7002/redis.conf /application/redis/src/redis-server /data/7003/redis.conf /application/redis/src/redis-server /data/7004/redis.conf /application/redis/src/redis-server /data/7005/redis.conf ps -ef |grep 700 ------------------------- 3、集群创建 /application/redis/src/redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 注意要输入yes --------------------- 4、集群状态查看 /application/redis/src/redis-cli -p 7000 cluster nodes | grep master /application/redis/src/redis-cli -p 7000 cluster nodes | grep slave +++++++++++++++Python 连接 redis cluster+++++++++++++++++ (1) redis-py并没有提供redis-cluster的支持，去github找了一下，有个叫redis-py-cluster的源码， 但是和redis-py不是一个作者，地址为:https://github.com/Grokzen/redis-py-cluster watch,star,fork还算可以。 (2) 安装 unzip redis-py-cluster-unstable.zip cd redis-py-cluster-unstable python3 setup.py install (3) 使用 >>>from rediscluster import StrictRedisCluster >>>startup_nodes = [{"host": "127.0.0.1", "port": "7000"}] >>># Note: decode_responses must be set to True when used with python3 >>>rc = StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True) >>>rc.set("foo", "bar") >>>print(rc.get("foo"))