一、Redis
Redis是一种基于key-value存储格式的nosql数据库,在结构部署上采用了master/slave的方式,其中slave节点起到备份的作用,当master节点出现问题的时候,slave节点可替换成master,从而确保了系统安全稳定的特性。
分布式存储单元:slot(一组key/value存储记录的集合)
一个cluster里面可能会有多个matser节点,master节点通过互相通信来记录彼此之间所存储的slot信息,从而确保了client 端可以通过任何master节点定位到需要的slot,获取到slot信息后,client端还会将该slot地址缓存到本地,从而加快了下次查询的效 率。
部署结构如图所示:
注:图中没有画出slave节点(slave只是起到备份master的作用),所有的圆圈全部为master,并且master之间的通信呈网状结构。
二、MongoDB
同CouchDB一样,MongoDB也是一种面向文档的nosql数据库,所不同的是在存储方式上采用的是分布式存储,其部署结构与Redis相似(基于master/slave方式),只不过功能组件较Redis划分的更加详细,如图所示:
图片说明:
shard:每一个master节点和用于备份它的slaves称之为一个shard,系统由多个shards组成
config servers:记录了每一个shard的地址,和shard所存储的数据信息
mongos:同Redis的部署结构相比,mongos相当于是master和client之间的一个中间节点,起到路由和协调的功能,client端 不再直接与master进行交互,而是通过mongos找到合适的master,在将master的计算结果返回到client
分布式存储单元:chunk
MongoDB中,Collection的概念类似于关系数据库中的Table,用来存储具有某一类性质的数据,而chunk是collection中一组元素的集合,mongoDB通过将每个Collection划分成多个chunk来实现分布式存储。
官方文档中所声明的功能特性主要有以下几个方面:
1.系统横向扩展功能--shard的热插拔
2.自动切片功能,当每个chunk的数据量大到溢出时,mongDB会重新进行切片处理
3.自动故障转移,master节点出现问题时,slave节点会替换掉master
4.负载均衡
6.框架封装MapReduce组件
mapReduce功能函数只能用javascript编写,并且通过控制台命令执行
7.GridFS文档系统--功能类似于Hadoop的HDFS,实现分布式存储功能
三、Hbase
HBase基于Google的BigTable构建,是一种column-oriented类型的nosql数据库,在部署结构上依然采用master/slave方式,但是它的master/slave理念与MongoDB和Redis完全不同。
分布式存储单元:Region
Hbase的schema描述在概念模型上延续了关系数据的Table定义,只不过它所定义的Table是没有column约束的,Hbase通过将Table切割成多个Region来实现分布式存储的功能,这样每个Region都封装了一组Row的范围。
1.RegionServer:在HBase中,RegionServer充当slave角色,负责与client端进行交互。
2.MasterServer:充当master角色,负责将Region分配给RegionServer、动态加载或卸载RegionServer、对RegionServer实现负载均衡功能、管理schema定义
3.ClientLibrary:负责查找并缓存RegionServer及它所存储的Region地址(通过MetaDATATabel)
在Hbase部署中,client不再和master进行交互,所有的读写操作都是直接通过RegionServer来完成,而master在此起到了负载均衡的作用,当某一个RegionServer加载量较大时,master可以将其中的Region重新切片部署。
官方文档中所声明的功能特性主要有以下几个方面:
1.系统横向扩展功能—RegionServer热插拔
2.基于行的读写一致性
4.自动故障转移
RegionServer出现问题时,系统会转移到其他的RegionServer进行处理
5.负载均衡
6.集成Hadoop框架
存储基于Hadoop的HDFS,分布式计算基于Hadoop的MapReduce
8.提供连接池功能
9.基于cell的版本功能
10.java API和REST API
优势: