--包含访问HBase的接口并维护cache,加快对HBase的访问
–保证任何时候,集群中只有一个master
–存贮所有Region的寻址入口。
–实时监控Region server的上线和下线信息。并实时通知给Master
–存储HBase的schema和table元数据
–为Region server分配region
–负责Region server的负载均衡
–发现失效的Region server并重新分配其上的region
–管理用户对table的增删改查操作
–Region server维护region,处理对这些region的IO请求
–Region server负责split在运行过程中变得过大的region
ZooKeeper存储所有Region的入口,Client通过访问它获得-ROOT-表的的location信息,接着通过-ROOT-表获得.META.表Region信息,最后再通过.META.表获得用户表的Region信息。Client会缓存这些信息,这样下次就可以直接获得用户表的Region信息。
如上图所示,当Client连上HReigonServer后,后者会打开相应的HRegion对象,为每个HColumeFamily创建Store实例,每个Store实例有一个MemStore,一个或多个StoreFile,StoreFile是HFile轻量级的包装。
1 写数据过程
首先是把Log写入到HLog中,HLog是标准的Hadoop Sequence File,由于Log数据量小,而且是顺序写,速度非常快;同时把数据写入到内存MemStore中,成功后返回给Client,所以对Client来说,HBase写的速度非常快,因为数据只要写入到内存中,就算成功了。
接着检查MemStore是否已满,如果满了,就把内存中的MemStore Flush到磁盘上,形成一个新的StoreFile。
当Storefile文件的数量增长到一定阈值后,系统会进行合并(Compact),在合并过程中会进行版本合并和删除工作,形成更大的storefile。
当Storefile大小超过一定阈值后,会把当前的Region分割为两个(Split),并由Hmaster分配到相应的HRegionServer,实现负载均衡
2 读数据过程
由于无法直接修改HBase里的数据,所有的update和delete操作都转换成append操作,而且HBase里也没有索引,因此读数据都是以Scan的方式进行。
Client在读数据时,一般会指定timestamp和ColumnFamily.
首先,根据ColumnFamily可以过滤掉很大一部分Store,这也是HBase作为列式数据库的一大优势。
然后,根据timestamp和Bloom Filter排除掉一些StoreFiles
最后,在剩下的StoreFile (包含MemStore)里Scan查找
分享到:
相关推荐
Hbase思维导图之物理模型
hbase的体系架构安装,hbase的三种安装模式,及一些操作命令
HBase体系架构与安装 介绍材料,非常不错
Hbase全称为Hadoop Database,即Hbase是Hadoop的数据库,是一个分布式的存储系统。...本篇文章将重点介绍Hbase三个方面的内容:Hbase体系结构(架构)的介绍、Hbase shell的操作、Hbase的Java api的客户端操作
HBase应用架构 [美] 吉恩-马克·斯帕加里(Jean-Marc Spaggiari) 著,陈敏敏 夏锐 陈其生 译
本文来自于csdn,主要为对HBase简介,HBase数据模型及物理模型,HBase架构及工作原理。HBase是一个构建在HDFS之上的,分布式的、面向列的开源数据库HBase是GoogleBigTable的开源实现,它主要用于存储海量数据个人...
hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构
Cassandra与HBase系统架构比对
Hbase的物理模型及逻辑模型的简单介绍。
HBASE技术架构及应用介绍.pdf
HBASE技术架构及应用介绍.pptx
有两个系统内置的预定义命名空间: hbase :系统命名空间,用于包含 hbase 的内部表 default :
Hbase系统架构及数据结构,进阶篇
HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用HadoopMapReduce来...
HBase专场:阿里云HBase产品体系架构及特性解析(封神).pdf
HBase思维导图,便捷整理思路,HBase简介、HBase架构、HBase数据模型、HBase角色
本文档图文并茂地详细的描述了HBASE列式数据的架构和原理,是HBASE入门不错的的资料
hadoop07d_HBase体系架构