一、认识redis之前,我们先了解一下nosql
随着互联网Web2.0网站的兴起,传统的关系数据库在应付Web2.0网站,特别是超大规模和高并发的SNS类型的Web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,如:对数据库高并发读写的需求,对海量数据的高效率存储和访问的需求,对数据库的高可扩展性和高可用性的需求;因此,关系数据库在这些越来越多的应用场景下显得不那么合适了,为了解决这类问题的非关系数据库应运而生。Nosql 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。Nosql 数据存储不需要固定的表结构(例如以键值对存储,它的结构不固定,每一个元组可以有不一样的字段,每个元组可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销),通常也不存在连接操作。
Nosql无与伦比的特点:易扩展,大数据量,高性能,灵活的数据模型,高可用。
二、redis简介
随着应用对高性能需求的增加,Nosql逐渐在各大名企的系统架构中生根发芽。时至今日,涌现出的Nosql产品已经有很多种了,例如Membase、MongoDB、Apache Cassandra、CouchDB等。不过,在国内外互联网巨头例如社交巨头新浪微博、传媒巨头Viacom及图片分享领域佼佼者Pinterest等名企都不约而同地采用了Redis作为其Nosql数据库的选择,到底Redis是何方神圣呢?能让如此多的名企为它而痴狂。
按照官方的说法,Redis是一个开源的,使用C语言编写,面向“键/值”(Key/Value)对类型数据的分布式Nosql数据库系统,特点是高性能,持久存储,适应高并发的应用场景。因此,可以说Redis纯粹为应用而产生,它是一个高性能的key-value数据库,并且还提供了多种语言的API(包括我们的大C#)。那么,也许我们会问:到底性能如何呢?以下是官方的bench-mark数据:
测试完成了50个并发执行100000个请求。
设置和获取的值是一个256字节字符串。
Linux Box是运行Linux 2.6,这是X3320 Xeon 2.5 ghz。
文本执行使用loopback接口(127.0.0.1)。
结果:读的速度是110000次/s,写的速度是81000次/s。(当然不同的服务器配置性能也有所不同)。
和Memcached类似,Redis支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,Redis支持各种不同方式的排序。与Memcached一样,为了保证效率,数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步(数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。)。
因此,Redis的出现,很大程度补偿了Memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。
三、redis的安装
redis官方默认对linux系统是完全支持的,但对windows默认是不支持的,所以我们一般将redis安装到linux中,本文是将redis安装到centos中。
安装步骤:
步骤:
1、建议安装gcc环境:yum install gcc-c++()
2、将Windows下下载的压缩文件上传到Linux下。我们可以通过filezilla等FTP软件上传,这里通过secureCRT进行上传。步骤如下:
alt + p
put c:/redis-3.0.7.tar.gz或者直接将SCRT工具打开将压缩包拖拽到客户端
完成上传
3、解压文件
tar –zxvf redis-3.0.7.tar.gz
4、编译并安装redis
进入解压文件夹:cd redis-2.6.16
编译并安装:make PREFIX=/usr/local/redis install【PREFIX:指定redis的安装目录】
5、安装后的目录结构
安装完后,在/usr/local/redis/bin下有几个可执行文件
redis-benchmark ----性能测试工具
redis-check-aof ----检查修复aof文件 appendonly file
redis-check-dump ----检查快照持久化文件
redis-cli ----命令行客户端
redis-server ----redis服务器启动命令
在redis3.0之后的版本中,redis-sentinel是redis集群管理工具可实现高可用
6、copy文件
redis启动需要依赖一个配置文件,该配置文件在解压后的目录中:cp redis.conf /usr/local/redis/bin
7、启动redis服务:进入安装目录的bin下,执行:./redis-server redis.conf;查看该进程: ps -ef | grep redis结束该进程:kill -9 pid(进程号)
启动后界面如下,这种方式又称为前台启动(有界面),如果想后台启动(无界面),可修redis.conf文件,将daemonize no-àyes即可。
8、新打开一个命令窗口,找到bin目录,./redis-cli就可以启动redis
8、停止redis服务:进入安装路径的bin目录下,执行如下命令:./redis-cli shutdown
四、redis的数据结构
redis是一种高级的key-value的存储系统,其中value支持五种数据类型。
1、 字符串(String)
2、 字符串列表(lists)
3、 字符串集合(sets)
4、 有序字符串集合(sorted sets)
5、 哈希(hashs)
而关于key的定义呢,需要大家注意的几点:
1、 key不要太长,最好不要操作1024个字节,这不仅会消耗内存还会降低查找效率
2、 key不要太短,如果太短会降低key的可读性
3、 在项目中,key最好有一个统一的命名规范
4.1、存储string
4.1.1、概述
字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。
4.1.2、 常用命令
l set key value:设定key持有指定的字符串value,如果该key存在则进行覆盖操作。总是返回”OK”
l get key:获取key的value。如果与该key关联的value不是String类型,redis将返回错误信息,因为get命令只能用于获取String value;如果该key不存在,返回null。
l getset key value:先获取该key的值,然后在设置该key的值。
l incrkey:将指定的key的value原子性的递增1.如果该key不存在,其初始值为0,在incr之后其值为1。如果value的值不能转成整型,如hello,该操作将执行失败并返回相应的错误信息。
l decr key:将指定的key的value原子性的递减1.如果该key不存在,其初始值为0,在incr之后其值为-1。如果value的值不能转成整型,如hello,该操作将执行失败并返回相应的错误信息。
l incrby keyincrement:将指定的key的value原子性增加increment,如果该key不存在,器初始值为0,在incrby之后,该值为increment。如果该值不能转成整型,如hello则失败并返回错误信息
l decrby key decrement:将指定的key的value原子性减少decrement,如果该key不存在,器初始值为0,在decrby之后,该值为decrement。如果该值不能转成整型,如hello则失败并返回错误信息
l append key value:如果该key存在,则在原有的value后追加该值;如果该key不存在,则重新创建一个key/value
4.2、存储list
4.2.1、概述
在Redis中,List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表一样,我们可以在其头部(left)和尾部(right)添加新的元素。在插入时,如果该键并不存在,Redis将为该键创建一个新的链表。与此相反,如果链表中所有的元素均被移除,那么该键也将会被从数据库中删除。List中可以包含的最大元素数量是4294967295。
从元素插入和删除的效率视角来看,如果我们是在链表的两头插入或删除元素,这将会是非常高效的操作,即使链表中已经存储了百万条记录,该操作也可以在常量时间内完成。然而需要说明的是,如果元素插入或删除操作是作用于链表中间,那将会是非常低效的。相信对于有良好数据结构基础的开发者而言,这一点并不难理解。
1、 ArrayList使用数组方式存储数据,所以根据索引查询数据速度快,而新增或者删除元素时需要设计到位移操作,所以比较慢。
2、 LinkedList使用双向链接方式存储数据,每个元素都记录前后元素的指针,所以插入、删除数据时只是更改前后元素的指针指向即可,速度非常快,然后通过下标查询元素时需要从头开始索引,所以比较慢。
3、 双向链表中添加数据
4、 双向链表中删除数据
4.2.2、常用命令
lpush key values[value1 value2…]:在指定的key所关联的list的头部插入所有的values,如果该key不存在,该命令在插入的之前创建一个与该key关联的空链表,之后再向该链表的头部插入数据。插入成功,返回元素的个数。
lpushxkey value:仅当参数中指定的key存在时(如果与key管理的list中没有值时,则该key是不存在的)在指定的key所关联的list的头部插入value。
lrange key start end:获取链表中从start到end的元素的值,start、end可为负数,若为-1则表示链表尾部的元素,-2则表示倒数第二个,依次类推…
lpop key:返回并弹出指定的key关联的链表中的第一个元素,即头部元素。如果该key不存在,返回nil;若key存在,则返回链表的头部元素。
llen key:返回指定的key关联的链表中的元素的数量。
lrem key count value:删除count个值为value的元素,如果count大于0,从头向尾遍历并删除count个值为value的元素,如果count小于0,则从尾向头遍历并删除。如果count等于0,则删除链表中所有等于value的元素。
lset key index value:设置链表中的index的脚标的元素值,0代表链表的头元素,-1代表链表的尾元素。操作链表的脚标则放回错误信息。
linsert key before|after pivot value:在pivot元素前或者后插入value这个元素。
rpush key values[value1、value2…]:在该list的尾部添加元素。
rpushx key value’:在该list的尾部添加元素
rpop key:从尾部弹出元素。
rpoplpush resource destination:将链表中的尾部元素弹出并添加到头部。[循环操作]
4.3、存储hash
4.3.1、概述
Redis中的Hashes类型可以看成具有String Key和String Value的map容器。所以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。
4.3.2、常用命令
l hset key field value:为指定的key设定field/value对(键值对)。
l hget key field:返回指定的key中的field的值
l hexists key field:判断指定的key中的filed是否存在,返回1存在,0不存在
l hincrby key field increment:设置key中filed的值增加increment,如:age增加20
l hmset key fields:设置key中的多个filed/value
l hmget key fileds:获取key中的多个filed的值
l hgetall key:获取key中的filed/value
4.4、存储set
4.4.1、概述
在Redis中,我们可以将Set类型看作为没有排序的字符集合,和List类型一样,我们也可以在该类型的数据值上执行添加、删除或判断某一元素是否存在等操作。需要说明的是,这些操作的时间复杂度为O(1),即常量时间内完成次操作。Set可包含的最大元素数量是4294967295。
和List类型不同的是,Set集合中不允许出现重复的元素,这一点和C++标准库中的set容器是完全相同的。换句话说,如果多次添加相同元素,Set中将仅保留该元素的一份拷贝。和List类型相比,Set类型在功能上还存在着一个非常重要的特性,即在服务器端完成多个Sets之间的聚合计算操作,如unions、intersections和differences。由于这些操作均在服务端完成,因此效率极高,而且也节省了大量的网络IO开销。
4.4.2、常用命令
sadd key values[value1、value2…]:向set中添加数据,如果该key的值已有则不会重复添加
smembers key:获取set中所有的成员
sismember key member:判断参数中指定的成员是否在该set中,1表示存在,0表示不存在或者该key本身就不存在
srem key members[member1、member2…]:删除set中指定的成员
srandmember key:随机返回set中的一个成员
sdiff key[sdiff key1 key2…]:返回key1与key2中相差的成员,而且与key的顺序有关。即返回差集。例如:sdiff key1 key2,以key1为目标,key2比key1差哪些成员。
sdiffstore destination key[key1、key2…]:将key1、key2相差的成员存储在destination上
sinter key[key1,key2…]:返回交集。
sinterstore destination key[key…]:将返回的交集存储在destination上
sunion key[key1、key2…]:返回并集。
sunionstore destination key[key…]:将返回的并集存储在destination上
4.5、存储sortedset
4.5.1、概述
Sorted-Sets和Sets类型极为相似,它们都是字符串的集合,都不允许重复的成员出现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分数(score)与之关联,Redis正是通过分数来为集合中的成员进行从小到大的排序。然而需要额外指出的是,尽管Sorted-Sets中的成员必须是唯一的,但是分数(score)却是可以重复的。
在Sorted-Set中添加、删除或更新一个成员都是非常快速的操作,其时间复杂度为集合中成员数量的对数。由于Sorted-Sets中的成员在集合中的位置是有序的,因此,即便是访问位于集合中部的成员也仍然是非常高效的。事实上,Redis所具有的这一特征在很多其它类型的数据库中是很难实现的,换句话说,在该点上要想达到和Redis同样的高效,在其它数据库中进行建模是非常困难的。
例如:游戏排名、微博热点话题等使用场景。
4.5.2、常用命令
zadd key score member score2 member2 … :将所有成员以及该成员的分数存放到sorted-set中
zcount key min max:获取分数在[min,max]之间的成员
zincrby key increment member:设置指定成员的增加的分数。
zrange key start end [withscores]:获取集合中脚标为start-end的成员,[withscores]参数表明返回的成员包含其分数。
zrangebyscore key min max [withscores] [limit offset count]:返回分数在[min,max]的成员并按照分数从低到高排序。[withscores]:显示分数;[limit offset count]:offset,表明从脚标为offset【根据分数取去元素集合后所在的脚标,而非原有的脚标值】的元素开始并返回count个成员。
zrank key member:返回成员在集合中的位置。
zrem key member[member…]:移除集合中指定的成员,可以指定多个成员。
zscore key member:返回指定成员的分数
4.6、key的通用操作
keys pattern:获取所有与pattern匹配的key,返回所有与该key匹配的keys。*表示任意一个或多个字符,?表示任意字符
delkey[key1、key2…]:删除指定的key
exists key:判断该key是否存在,1代表存在,0代表不存在
rename key newkey:为当前的key重命名
expire key:设置key的存活时间
ttl key:获取该key所剩的超时时间,如果不存在或没有超时设置,返回-1
type key:获取指定key的类型。该命令将以字符串的格式返回。 返回的字符串为string、list、set、hash和zset,如果key不存在返回none。
五、redis其他特性
5.1、消息订阅与发布
subscribe channel:订阅频道,例:subscribe mychat,订阅mychat这个频道
psubscribe channel*:批量订阅频道,例:psubscribe s*,订阅以”s”开头的频道
publish channel content:在指定的频道中发布消息,如 publish mychat ‘today is a newday’
5.2、多数据库
1、概念
一个Redis实例可以包括多个数据库,客户端可以指定连接某个redis实例的哪个数据库,就好比一个MysqL中创建多个数据库,客户端连接时指定连接哪个数据库。
一个redis实例最多可提供16个数据库,下标从0到15,客户端默认连接第0号数据库,也可以通过select选择连接哪个数据库,如下连接1号库:
连接0号数据库:
2、将newkey移植到1号库
move newkey 1:将当前库的key移植到1号库中
3、注意问题
在0号数据库存储数据,在1号数据库执行清空数据命令却把0号数据库的数据给清空了:
建议:不同的应用系统要使用不同的redis实例而不是使用同一个redis实例下的不同数据库。
六、jedis使用
同之前我们讲过的solrj一样,通过jedis提供的API我们连接redis服务并对其数据进行维护。而且其API与命令基本一致。
6.1、导入jar包
6.2、连接Redis服务
注意:初次安装的Linux系统,可能因为防火墙的原因连接不上Redis,因此需要关闭防火墙。命令:service iptables stop
6.2.1、Jedis连接单机版Redis
通过jedis对象连接Redis服务。
6.2.2、JedisPool连接单机版redis
通过连接池连接redis---同数据库连接池原理一样。
七、redis运维知识
7.1、redis持久化
1、RDB持久化(默认支持,无需配置)
该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。
2、AOF持久化
该机制将以日志的形式记录服务器所处理的每一个写操作,在Redis服务器启动之初会读取该文件来重新构建数据库,以保证启动后数据库中的数据是完整的。
3、无持久化
我们可以通过配置的方式禁用Redis服务器的持久化功能,这样我们就可以将Redis视为一个功能加强版的memcached了。
4、redis同时使用RDB和AOF
7.1.1、RDB
7.1.1.1、优势
1、 一旦采用该方式,那么你的整个Redis数据库将只包含一个文件,这对于文件备份而言是非常完美的。比如,你可能打算每个小时归档一次最近24小时的数据,同时还要每天归档一次最近30天的数据。通过这样的备份策略,一旦系统出现灾难性故障,我们可以非常容易的进行恢复。
2、 对于灾难恢复而言,RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上
3、 性能最大化。对于Redis的服务进程而言,在开始持久化时,它唯一需要做的只是fork出子进程,之后再由子进程完成这些持久化的工作,这样就可以极大的避免服务进程执行IO操作了。
4、 相比于AOF机制,如果数据集很大,RDB的启动效率会更高。
7.1.1.2、劣势
1、 如果你想保证数据的高可用性,即最大限度的避免数据丢失,那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象,此前没有来得及写入磁盘的数据都将丢失。
2、 由于RDB是通过fork子进程来协助完成数据持久化工作的,因此,如果当数据集较大时,可能会导致整个服务器停止服务几百毫秒,甚至是1秒钟
7.1.1.3、配置说明Snapshotting
save 900 1 #每900秒(15分钟)至少有1个key发生变化,则dump内存快照。
save 300 10 #每300秒(5分钟)至少有10个key发生变化,则dump内存快照
save 60 10000 #每60秒(1分钟)至少有10000个key发生变化,则dump内存快照
7.1.2、AOF
7.1.2.1、优势
1、该机制可以带来更高的数据安全性,即数据持久性。Redis中提供了3中同步策略,即每秒同步、每修改同步和不同步。事实上,每秒同步也是异步完成的,其效率也是非常高的,所差的是一旦系统出现宕机现象,那么这一秒钟之内修改的数据将会丢失。而每修改同步,我们可以将其视为同步持久化,即每次发生的数据变化都会被立即记录到磁盘中。可以预见,这种方式在效率上是最低的。至于无同步,无需多言,我想大家都能正确的理解它。
2、由于该机制对日志文件的写入操作采用的是append模式,因此在写入过程中即使出现宕机现象,也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题,不用担心,在Redis下一次启动之前,我们可以通过redis-check-aof工具来帮助我们解决数据一致性的问题。
3、如果日志过大,Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中,同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性。
4、AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上,我们也可以通过该文件完成数据的重建。
7.1.2.2、劣势
1、对于相同数量的数据集而言,AOF文件通常要大于RDB文件
2、根据同步策略的不同,AOF在运行效率上往往会慢于RDB。总之,每秒同步策略的效率是比较高的,同步禁用策略的效率和RDB一样高效。
7.1.2.3、配置AOF
7.1.2.3.1、配置信息
dir/var/redis:可以指定生成的AOF文件和dump文件的位置
appendonly yes:开启AOF
appendfsync always/everysec/no:AOF策略
everysec #每秒钟同步一次,该策略为AOF的缺省策略
no #从不同步。高效但是数据不会被持久化
7.1.2.3.2、数据恢复演示
1、添加key/value
2、flushall操作清空数据库
3、及时关闭redis服务器shutdown nosave
4、编辑aof文件,将日志中的flushall命令删除并重启服务即可
7.2、redis主从复制
7.2.1、步骤
1、复制一份redis.conf文件并修改名称,如:cp redis.conf redis6380.conf
端口号
进程id号(pidfile /var/run/redis6380.pid)
slaveof:主从复制信息
存放aof、rdb文件的目录。
3、启动主、从服务器
4、查看从机客户端:./redis-cli –p 6380
7.2.2、测试
八、redis客户端
8.1、图形化界面
8.2、内置客户端
redis所需要的资料下载:http://pan.baidu.com/s/1i4O3UtB 密码:jsgk
原文链接:https://www.f2er.com/nosql/203492.html