NoSql之初识HBase

前端之家收集整理的这篇文章主要介绍了NoSql之初识HBase前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

之前我们一直在介绍hadoop,学习了两个核心内容HDFS和MapReduce。虽然HDFS可以存储数据,但是我们无法快速的查看所需的数据,这就需要引入另一个非关系型数据库HBase。

一、基本介绍

1、概念

hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。
它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range(排序)来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。
与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。

2、逻辑结构

  • Row Key

主键是用来检索记录的主键,Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。
存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)
访问hbase table中的行,只有三种方式

通过单个row key访问
通过row key的range
全表扫描
  • 列族

    列族在创建表的时候声明,一个列族可以包含多个列,列中的数据都是以二进制形式存在,没有数据类型。

  • Cell

    HBase中通过row和columns等({row key,column( =<family> + <label>),version} )确定的为一个存贮单元称为cell。cell中的数据是没有类型的,全部是字节码形式存贮。

  • 时间戳

    每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值,此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。

3、物理结构

Table 在行的方向上分割为多个HRegion,一个region由[startkey,endkey)表示,每个HRegion分散在不同的RegionServer中

如下图所示,左侧为HRegion,右侧为RegionServer。当RowKey为233时,按照下图的分配方案,应存在rs1中。而RowKey为438的数据存储在rs2中。这样可以将数据分散开,从而提高性能

4、优缺点

  • 优点
列的可以动态增加,并且列为空就不存储数据,节省存储空间.
Hbase自动切分数据,使得数据存储自动具有水平scalability.
Hbase可以提供高并发读写操作的支持
  • 缺点
不能支持条件查询,只支持按照Row key来查询.
因为hbase必须使用很大的内存,因此ygc和fgc的问题很麻烦。
fgc可能长达数秒钟,也就是说用hbase的系统可能会有数秒钟不可用。

二、综合解析

1、三角关系

  • Hadoop与HBase

经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时,这两个文件存储到了HDFS的Datanode中,HDFS才是永久存储。


  • ZooKeeper跟HadoopCore、HBase

ZooKeeper都提供了哪些服务呢?主要有:管理Hadoop集群中的NameNode,HBase中HBaseMaster的选举,Servers之间状态同步等。具体一点,细一点说,单只HBase中ZooKeeper实例负责的工作就有:存储HBase的Schema,实时监控HRegionServer,存储所有Region的寻址入口,当然还有最常见的功能就是保证HBase集群中只有一个Master。

2、架构解析

  • Client

包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。

  • Zookeeper

1 保证任何时候,集群中只有一个master
2 存贮所有Region的寻址入口。
3 实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master
4 存储Hbase的schema,包括有哪些table,每个table有哪些column family

  • Master

    1 为Region server分配region
    2 负责region server的负载均衡
    3 发现失效的region server并重新分配其上的region
    4 GFS上的垃圾文件回收
    5 处理schema更新请求

  • Region Server

1 Region server维护Master分配给它的region,处理对这些region的IO请求
2 Region server负责切分在运行过程中变得过大的region
可以看到,client访问hbase上数据的过程并不需要master参与(寻址访问zookeeper和region server,数据读写访问regione server),master仅仅维护者table和region的元数据信息,负载很低。

3、根据目录的查找

HBase中有两张特殊的Table,-ROOT-和.Meta.

  • -ROOT-

记录了.Meta.表的Region信息,-ROOT-只有一个region

记录了用户创建的表的Region信息,.Meta.可以有多个regoin

HBase客户端的 HTable类访问用户数据之前需要首先找相应的RegionServers来处理行。他是先访问zookeeper,得到相应的“-ROOT-”的存放信息,然后根据这些信息找到“-ROOT-”表,得到 “.Meta. ”表的信息,然后找到“.Meta. ”表才能确定region的位置。定位到所需要的区域后,客户端会直接 去访问相应的region(不经过master),发起读写请求。这些信息会缓存在客户端,这样就不用每发起一个请求就去查一下。

总结:

由Hadoop的学习,我们引出了HBase的学习,知道了它是一种列式存储,在实际应用中需要结合zookeeper和hadoop一起使用。但是本文并没有介绍它的shell命令以及API接口等等,这些需要我们感兴趣的自己练练,实际操作操作,这样才能更加深刻得了理解。

猜你在找的NoSQL相关文章