Redis集群

一、Redis集群原理

集群技术是构建高性能网站架构的重要手段，试想在网站承受高并发访问压力的同时，还需要从海量数据中查询出满足条件的数据，并快速响应，我们必然想到的是将数据进行切片，把数据根据某种规则放入多个不同的服务器节点，来降低单节点服务器的压力。

上一篇我们讲到了 Redis 的主从复制技术，当实现了多节点的 master-slave 后，我们也可以把它叫做集群，但我们今天要讲的集群主要是利用切片技术来组建的集群。

集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点，这里我们需要一个规则或者算法，通常的做法是获取 key 的哈希值，然后根据节点数来求模，但这种做法有其明显的弊端，当我们需要增加或减少一个节点时，会造成大量的 key 无法命中，这种比例是相当高的，所以就有人提出了一致性哈希的概念。

一致性哈希有四个重要特征：

1、均衡性：也有人把它定义为平衡性，是指哈希的结果能够尽可能分布到所有的节点中去，这样可以有效的利用每个节点上的资源。

2、单调性：对于单调性有很多翻译让我非常的不解，而我想要的是当节点数量变化时哈希的结果应尽可能的保护已分配的内容不会被重新分派到新的节点。

3、分散性和负载：这两个其实是差不多的意思，就是要求一致性哈希算法对 key 哈希应尽可能的避免重复。

但一致性哈希不是我们今天要介绍的重点，因为 Redis 引入另一种哈希槽（hash slot）的概念。

Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

使用哈希槽的好处就在于可以方便的添加或移除节点。

当需要增加节点时，只需要把其他节点的某些哈希槽挪到新节点就可以了；

当需要移除节点时，只需要把移除节点上的哈希槽挪到其他节点就行了；

二、Redis集群配置

因为我们要启动多个 redis 实例，虽然我们可以直接通过命令行来启动，但始终是不怎么方便的，所以我们先来新建三个实例目录，分别是9001，9002，9003，目录名就是 redis 实例的端口号。

然后我们把以前编译过和修改过的 redis-server、redis.conf这两个文件分别拷贝到这三个目录里面，拷贝完之后就像这样子了：

打开 redis.conf 文件，为了简单起见，我们只保留下面几个配置项：

daemonize yes

port 9001

cluster-enabled yes 开启Cluster

cluster-config-file nodes.conf

cluster-node-timeout 15000 结点超时多久则认为它宕机了

appendonly yes

cluster-require-full-coverage no 默认是yes，只要有结点宕机导致16384个槽没全被覆盖，整个集群就全部停止服务，所以一定要改为no

注意：port 要修改成对应目录的名字，也就是每个实例要有不同的端口。

配置说明请参见:http://blog.csdn.net/dc_726/article/details/48552531

下面我们分别启动这三个实例：

A:~ $ cd applications/dev/redis-cluster

A:redis-cluster$ cd 9001

A:9001 $ ./redis-server ./redis.conf

A:9003 $ cd ../9002

A:9002 $ ./redis-server ./redis.conf

A:9002 $ cd ../9003

A:9003 $ ./redis-server ./redis.conf

运行成功后，分别会在9001,9002及9003目录下生成如下文件

接下来我们来创建集群，让三个实例互相通讯：

A:src $ ./redis-trib.rb create --replicas 0 127.0.0.1:9001 127.0.0.1:9002 127.0.0.1:9003

>>> Creating cluster

Connecting to node 127.0.0.1:9001: OK

Connecting to node 127.0.0.1:9002: OK

Connecting to node 127.0.0.1:9003: OK

>>> Performing hash slots allocation on 3 nodes...

Using 3 masters:

127.0.0.1:9001

127.0.0.1:9002

127.0.0.1:9003

M: 92c9912cb1ccf657c886ecd839dd32c66efd8762 127.0.0.1:9001

slots:0-5460 (5461 slots) master

M: b6d46fcb8b0e6ee373b09a4f2cbcec744d1a259b 127.0.0.1:9002

slots:5461-10922 (5462 slots) master

M: 44ab30c7c589ffb15b9b04dd827c72cfaeedacb2 127.0.0.1:9003

slots:10923-16383 (5461 slots) master

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join..

>>> Performing Cluster Check (using node 127.0.0.1:9001)

M: 92c9912cb1ccf657c886ecd839dd32c66efd8762 127.0.0.1:9001

slots:0-5460 (5461 slots) master

M: b6d46fcb8b0e6ee373b09a4f2cbcec744d1a259b 127.0.0.1:9002

slots:5461-10922 (5462 slots) master

M: 44ab30c7c589ffb15b9b04dd827c72cfaeedacb2 127.0.0.1:9003

slots:10923-16383 (5461 slots) master

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

zhaoguihuadediannao:src zhaogh$

需要注意的是执行 redis-trib.rb 命令需要 ruby 的支持，如果你没有安装可以先安装。

ruby的依赖包如下：

gem install redis （运行此命令，安装redis-3.0.gem）

ruby及yaml文件的安装需要先解压，然后运行./configure、make、make install命令进行安装.

./redis-trib.rb create --replicas 0 127.0.0.1:9002 127.0.0.1:9003 127.0.0.1:9004 ---Redis集群，各节点无备节点

./redis-trib.rb create --replicas 1 127.0.0.1:9002 127.0.0.1:9003 127.0.0.1:9004

127.0.0.1:9005 127.0.0.1:9006 127.0.0.1:9007 --Redis集群，各节点有1个备节点。

当集群中的主节点挂掉后，自动启用备节点

./redis-trib.rb check 127.0.0.1:6379 检查Redis集群状态

./redis-trib.rb check 10.103.81.32:9003

./redis-cli -c -h 10.103.81.31 -p 9003

Redis集群常见命令请参见：http://blog.chinaunix.net/uid-28396214-id-4981572.html

http://blog.csdn.net/dc_726/article/details/48552531

Redis安装过程中的常见错误及解决方法如下:

1、使用make命令编译redis时，如果出现如下错误：

zmalloc.h:55:31: error :jemalloc/jemalloc.h:No such file or directory

zmalloc.h:55:2 : error :#error "Newer version of jemalloc required"

解决方法：make MALLOC=libc

2、运行redis-trib.rb时报如下错误：

usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in 'gem_original_require':no such file to load --redis(LoadError)

from /usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in 'require'

from ./redis-trib.rb:25

运行gem install redis,如果运行此命令依然报错，这里可能是因为无法连接gem服务器。

gem install redis --version 3.0.0

Error:Could not find a valid gem 'redis'(=3.0.0)in any repository

Error:While executing gem...(Gem:RemoteFetcher:FetchError)

此时需要手动下载redis-3.0.0.gem文件，运行如下命令进行手动安装:gem install -l ./redis-3.0.0.gem

下面我们用 redis 自带的客户端测试一下：

A:src $ ./redis-cli -c -p 9001 注意-c不能丢

127.0.0.1:9001> get testkey001

-> Redirected to slot [12786] located at 127.0.0.1:9003

(nil)

127.0.0.1:9003> set testkey002 testvalue002

-> Redirected to slot [401] located at 127.0.0.1:9001

127.0.0.1:9001> get testkey002

"testvalue002"

127.0.0.1:9001> set testkey003 testvalue003

127.0.0.1:9001>

可以看到，虽然我们第一次连接的是9001端口，当我们去获取 testkey001 的时候，redis cluster 自动帮我们重定向到 9003 。

当我们在 9003 设置 testkey002 时，redis cluster 又重定向到 9001 。

其它执行脚本：ps -ef|grep redis|egrep -v grep|awk -F ' ' '{print $2}'|xargs kill -9 --直接kill掉已启动的redis进程；

清空redis缓存：

A:src $ ./redis-cli -c -p 9001 注意-c不能丢

127.0.0.1:9001>flushall 清空redis缓存

127.0.0.1:9001>info keyspace 查看redis缓存分片数据(redis默认分库数为配置文件中dbsize大小，范围为[0~dbsize-1])