1.redis集群简介
redis集群在启动的时候就自动在多个节点间分好片。同时提供了分片之间的可用性：当一部分redis节点故障或网络中断，集群也能继续工作。但是，当大面积的节点故障或网络中断（比如大部分的主节点都不可用了），集群就不能使用。
所以，从实用性的角度，Redis集群提供以下功能：
● 自动把数据切分到多个redis节点中
● 当一部分节点挂了或不可达，集群依然能继续工作
2.redis集群数据分片
Redis集群不是使用一致性哈希，而是使用哈希槽。整个redis集群有16384个哈希槽，决定一个key应该分配到那个槽的算法是：计算该key的CRC16结果再模16834。
集群中的每个节点负责一部分哈希槽，比如集群中有３个节点，则：
● 节点Ａ存储的哈希槽范围是：0 – 5500
● 节点Ｂ存储的哈希槽范围是：5501 – 11000
● 节点Ｃ存储的哈希槽范围是：11001 – 16384
这样的分布方式方便节点的添加和删除。比如，需要新增一个节点Ｄ，只需要把Ａ、Ｂ、Ｃ中的部分哈希槽数据移到Ｄ节点。同样，如果希望在集群中删除Ａ节点，只需要把Ａ节点的哈希槽的数据移到Ｂ和Ｃ节点，当Ａ节点的数据全部被移走后，Ａ节点就可以完全从集群中删除。
因为把哈希槽从一个节点移到另一个节点是不需要停机的，所以，增加或删除节点，或更改节点上的哈希槽，也是不需要停机的。
如果多个key都属于一个哈希槽，集群支持通过一个命令（或事务,或lua脚本）同时操作这些key。通过“哈希标签”的概念，用户可以让多个key分配到同一个哈希槽。哈希标签在集群详细文档中有描述，这里做个简单介绍：如果key含有大括号”{}”,则只有大括号中的字符串会参与哈希，比如”this{foo}”和”another{foo}”这２个key会分配到同一个哈希槽，所以可以在一个命令中同时操作他们。
3.redis的主从模式
为了保证在部分节点故障或网络不通时集群依然能正常工作，集群使用了主从模型，每个哈希槽有一（主节点）到N个副本（N-1个从节点）。在我们刚才的集群例子中，有A,B,C三个节点，如果B节点故障集群就不能正常工作了，因为Ｂ节点中的哈希槽数据没法操作。但是，如果我们给每一个节点都增加一个从节点，就变成了：A,C三个节点是主节点，A1,B1,C1 分别是他们的从节点，当B节点宕机时，我们的集群也能正常运作。B1节点是B节点的副本，如果B节点故障，集群会提升B1为主节点，从而让集群继续正常工作。但是，如果B和B1同时故障，集群就不能继续工作了。
Redis集群的一致性保证
Redis集群不能保证强一致性。一些已经向客户端确认写成功的操作，会在某些不确定的情况下丢失。
产生写操作丢失的第一个原因，是因为主从节点之间使用了异步的方式来同步数据。
一个写操作是这样一个流程：
1)客户端向主节点B发起写的操作2)主节点B回应客户端写操作成功3)主节点B向它的从节点B1,B2,B3同步该写操作
从上面的流程可以看出来，主节点B并没有等从节点B1,B3写完之后再回复客户端这次操作的结果。所以，如果主节点B在通知客户端写操作成功之后，但同步给从节点之前，主节点Ｂ故障了，其中一个没有收到该写操作的从节点会晋升成主节点，该写操作就这样永远丢失了。
就像传统的数据库，在不涉及到分布式的情况下，它每秒写回磁盘。为了提高一致性，可以在写盘完成之后再回复客户端，但这样就要损失性能。这种方式就等于Redis集群使用同步复制的方式。
基本上，在性能和一致性之间，需要一个权衡。
4. 创建和使用redis集群
4.1.下载redis文件
[root@apollo dtadmin]# wget http://download.redis.io/releases/redis-3.2.9.tar.gz
4.2.解压redis到/opt/目录下
[root@apollo dtadmin]# tar -zxvf redis-3.2.9.tar.gz -C /opt/
4.3.编译redis
#进入目录/opt/redis-3.2.9
[root@apollo dtadmin]# cd /opt/redis-3.2.9/
[root@artemis redis-@H_301_60@3.2.@H_301_60@9]# make && make install #如果报错，说明缺少依赖包，要先执行以下命令
[root@artemis redis-cluster]# yum -y install ruby ruby-devel rubygems rpm-build gcc
4.4.配置redis集群
4.4.1.环境准备
| # | hostname | ip | software | port | notes |
|---|---|---|---|---|---|
| 1 | apollo.dt.com | 192.168.56.181 | redis | 7000 7001 7002 |
|
| 2 | artemis.dt.com | 192.168.56.182 | redis | 7003 7004 7005 |
|
| 3 | uranus.dt.com | 192.168.56.183 | redis | 7006 7007 7008 |
4.4.2 在/opt/redis-3.2.9/目录下创建目录redis-cluster
#创建目录redis-cluster
[root@apollo redis-@H_301_60@3.2@H_301_60@.9]# mkdir redis-cluster
#在redis-cluster目录下创建三个子目录
[root@apollo redis-cluster]# mkdir -p @H_301_60@7000 @H_301_60@7001 @H_301_60@7002
#把/opt/redis-@H_301_60@3.2@H_301_60@.9目录下的redis.conf分别拷贝一份到@H_301_60@7000,@H_301_60@7001和@H_301_60@7002目录下：
[root@apollo redis-cluster]# cp /opt/redis-@H_301_60@3.2@H_301_60@.9/redis.conf /opt/redis-@H_301_60@3.2@H_301_60@.9/redis-cluster/@H_301_60@7000
[root@apollo redis-cluster]# cp /opt/redis-@H_301_60@3.2@H_301_60@.9/redis.conf /opt/redis-@H_301_60@3.2@H_301_60@.9/redis-cluster/@H_301_60@7001
[root@apollo redis-cluster]# cp /opt/redis-@H_301_60@3.2@H_301_60@.9/redis.conf /opt/redis-@H_301_60@3.2@H_301_60@.9/redis-cluster/@H_301_60@7002
4.4.3.配置子目录/opt/redis-3.2.9/redis-cluster/目录下三个子目录7000,7001和7002下的redis.conf文件,主要修改内容为：
[root@apollo redis-cluster]# vim 7000/redis.conf
[root@apollo redis-cluster]# vim 7001/redis.conf
[root@apollo redis-cluster]# vim 7002/redis.conf
###############配置修改项########################
bind @H_301_60@192.168.@H_301_60@56.181 #修改为本机IP
port @H_301_60@7000 #要根据所在的子目录下配置
daemonize yes
pidfile /var/run/redis_700@H_301_60@0.pid #要根据所在的子目录下配置
logfile "/var/log/redis-7000.log" #要根据所在的子目录下配置
appendonly yes
cluster-enabled yes
cluster-config-file nodes-@H_301_60@7000.conf #要根据所在的子目录下配置
cluster-node-timeout @H_301_60@15000
4.4.4.以相同方法配置其它两台务器
不同的是要用7003,7004,7005,7006,7007,7008端口号并创建相应的子目录。
5.启动redis集群
5.1.在第一台服务器上启动redis
[root@apollo redis-cluster]# redis-server 7001/redis.conf
[root@apollo redis-cluster]# redis-server 7002/redis.conf
[root@apollo redis-cluster]# redis-server 7003/redis.conf
5.2.在第二台机器启动redis
[root@artemis redis-cluster]# redis-server 7003/redis.conf
[root@artemis redis-cluster]# redis-server 7004/redis.conf
[root@artemis redis-cluster]# redis-server 7005/redis.conf
5.3 在第三台服务器上启动redis
[root@uranus redis-cluster]# redis-server 7006/redis.conf
[root@uranus redis-cluster]# redis-server 7007/redis.conf
[root@uranus redis-cluster]# redis-server 7008/redis.conf
6.验证各个服务器上的redis启动状态
6.1.第一台服务器
[root@apollo redis-cluster]# ps -ef | grep redis
root @H_301_60@18313 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@44 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 [cluster]
root @H_301_60@18325 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@44 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7002 [cluster]
root @H_301_60@18371 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@45 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 [cluster]
root @H_301_60@18449 @H_301_60@2564 @H_301_60@0 @H_301_60@16:@H_301_60@46 pts/@H_301_60@0 @H_301_60@00:@H_301_60@00:@H_301_60@00 grep --color=auto redis
[root@apollo redis-cluster]# netstat -tnlp | grep redis
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@18313/redis-server
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7002 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@18325/redis-server
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@17000 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@18371/redis-server
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@17001 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@18313/redis-server
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@17002 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@18325/redis-server
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@18371/redis-server
6.2.第二台服务器
[root@artemis redis-cluster]# ps -ef | grep redis
root @H_301_60@5351 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@45 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 [cluster]
root @H_301_60@5355 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@45 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7004 [cluster]
root @H_301_60@5359 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@46 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7005 [cluster]
[root@artemis redis-cluster]# netstat -tnlp | grep redis
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@5351/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7004 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@5355/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7005 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@5359/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@17003 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@5351/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@17004 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@5355/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@17005 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@5359/redis-server @H_301_60@1
6.3.第三台服务器
[root@uranus redis-cluster]# ps -ef | grep redis
root @H_301_60@21138 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@46 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 [cluster]
root @H_301_60@21156 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@46 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7008 [cluster]
root @H_301_60@21387 @H_301_60@1 @H_301_60@0 @H_301_60@16:@H_301_60@50 ? @H_301_60@00:@H_301_60@00:@H_301_60@00 redis-server @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7007 [cluster]
root @H_301_60@21394 @H_301_60@9287 @H_301_60@0 @H_301_60@16:@H_301_60@50 pts/@H_301_60@0 @H_301_60@00:@H_301_60@00:@H_301_60@00 grep --color=auto redis
[root@uranus redis-cluster]# netstat -tnlp | grep redis
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@2959/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7007 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@2971/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7008 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@2982/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@17006 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@2959/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@17007 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@2971/redis-server @H_301_60@1
tcp @H_301_60@0 @H_301_60@0 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@17008 @H_301_60@0.0@H_301_60@.0@H_301_60@.0:* LISTEN @H_301_60@2982/redis-server @H_301_60@1
7.创建redis集群
[root@apollo src]# ./redis-trib.rb create --replicas @H_301_60@1 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7002 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7004 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7005 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7007 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7008 >>> Creating cluster >>> Performing hash slots allocation on @H_301_60@9 nodes... Using @H_301_60@4 masters: @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 Adding replica @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7004 to @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 Adding replica @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7007 to @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 Adding replica @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7002 to @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 Adding replica @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7005 to @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 Adding replica @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7008 to @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 M: @H_301_60@4d007a1e8efdc43ca4ec3db77029709b4e8413d0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 slots:@H_301_60@0-@H_301_60@4095 (@H_301_60@4096 slots) master M: @H_301_60@0d0b4528f32db0111db2a78b8451567086b66d97 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 slots:@H_301_60@12288-@H_301_60@16383 (@H_301_60@4096 slots) master S: e7b8ba7a800683ba017401bde9a72bb34ad252d8 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7002 replicates @H_301_60@3b9056e1c92ee9b94870a4100b89f6dc474ec1fa M: @H_301_60@4b34dcec53e46ad990b0e6bc36d5cd7b7f3f4cce @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 slots:@H_301_60@4096-@H_301_60@8191 (@H_301_60@4096 slots) master S: @H_301_60@13863d63aa323fd58e7ceeba1ccc91b6304d0539 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7004 replicates @H_301_60@4d007a1e8efdc43ca4ec3db77029709b4e8413d0 S: da3556753efe388a64fafc259338ea420a795163 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7005 replicates @H_301_60@0d0b4528f32db0111db2a78b8451567086b66d97 M: @H_301_60@3b9056e1c92ee9b94870a4100b89f6dc474ec1fa @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 slots:@H_301_60@8192-@H_301_60@12287 (@H_301_60@4096 slots) master S: ab90ee3ff9834a88416da311011e9bdfaa9a831f @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7007 replicates @H_301_60@4b34dcec53e46ad990b0e6bc36d5cd7b7f3f4cce S: b0dda91a2527f71fe555cdd28fa8be4b571a4bed @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7008 replicates @H_301_60@4d007a1e8efdc43ca4ec3db77029709b4e8413d0 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join........ >>> Performing Cluster Check (using node @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000) M: @H_301_60@4d007a1e8efdc43ca4ec3db77029709b4e8413d0 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7000 slots:@H_301_60@0-@H_301_60@4095 (@H_301_60@4096 slots) master @H_301_60@2 additional replica(s) S: e7b8ba7a800683ba017401bde9a72bb34ad252d8 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7002 slots: (@H_301_60@0 slots) slave replicates @H_301_60@3b9056e1c92ee9b94870a4100b89f6dc474ec1fa S: ab90ee3ff9834a88416da311011e9bdfaa9a831f @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7007 slots: (@H_301_60@0 slots) slave replicates @H_301_60@4b34dcec53e46ad990b0e6bc36d5cd7b7f3f4cce M: @H_301_60@4b34dcec53e46ad990b0e6bc36d5cd7b7f3f4cce @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7003 slots:@H_301_60@4096-@H_301_60@8191 (@H_301_60@4096 slots) master @H_301_60@1 additional replica(s) M: @H_301_60@0d0b4528f32db0111db2a78b8451567086b66d97 @H_301_60@192.168@H_301_60@.56@H_301_60@.181:@H_301_60@7001 slots:@H_301_60@12288-@H_301_60@16383 (@H_301_60@4096 slots) master @H_301_60@1 additional replica(s) M: @H_301_60@3b9056e1c92ee9b94870a4100b89f6dc474ec1fa @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7006 slots:@H_301_60@8192-@H_301_60@12287 (@H_301_60@4096 slots) master @H_301_60@1 additional replica(s) S: b0dda91a2527f71fe555cdd28fa8be4b571a4bed @H_301_60@192.168@H_301_60@.56@H_301_60@.183:@H_301_60@7008 slots: (@H_301_60@0 slots) slave replicates @H_301_60@4d007a1e8efdc43ca4ec3db77029709b4e8413d0 S: @H_301_60@13863d63aa323fd58e7ceeba1ccc91b6304d0539 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7004 slots: (@H_301_60@0 slots) slave replicates @H_301_60@4d007a1e8efdc43ca4ec3db77029709b4e8413d0 S: da3556753efe388a64fafc259338ea420a795163 @H_301_60@192.168@H_301_60@.56@H_301_60@.182:@H_301_60@7005 slots: (@H_301_60@0 slots) slave replicates @H_301_60@0d0b4528f32db0111db2a78b8451567086b66d97 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All @H_301_60@16384 slots covered.
