1/5 HBase( 三 ) _生活百科

当table中的行不断增多，就会有越来越多的region 。这样一张完整的表被保存在多个Regionserver上。
Memstore 与 storefile

一个region由多个store组成，一个store对应一个CF（列簇）

store包括位于内存中的memstore和位于磁盘的storefile写操作先写入 memstore，当memstore中的数据达到某个阈值， hregionserver会启动 flashcache进程写入storefile，每次写入形成单独的一个storefile

当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、 major compaction），在合并过程中会进行版本合并和删除工作（majar），形成更大的storefile 。

当一个region所有storefile的大小和超过一定阈值后，会把当前的region 分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡。

客户端检索数据，先在memstore找，找不到再找storefile

HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的HRegion server上。

HRegion由一个或者多个Store组成，每个store保存一个columns family 。

每个Strore又由一个memStore和0至多个StoreFile组成。

如图：StoreFile 以HFile格式保存在HDFS上。

文章插图

文章插图
3.3 理解难点1、flush刷新在HDFS上呈现究竟是怎么刷新的呢？？我们目前刚刚学习的时候，添加数据，都是一条一条的put进去，而我们在put的数据比较少（小于128M）的时候，我们put完去HDFS上并未查看到我们put的文件，这是因为数据还在内存中，也就是还在memStore中，所以要想在HDFS中查看到，我们必须手动刷新到磁盘中，这是将memStore的数据刷新到StoreFile中去，这样我们在HDFS中就可以查看到了。2、为什么Hbase不可以使用像Mysql那样进行查询？？首先，我们应该可以感受到，我们在插入的时候，每行数据，有多少列，列名叫什么完全是我们自己定义的，之所以不支持像MySql那样对列进行查询和操作，因为不确定列的个数和名称。3、数据最后存在HDFS上的，HDFS不支持删改，为什么Hbase就可以呢？？这里有个思想误区，的确，数据是以HFile形式存在HDFS上的，而且HDFS的确是不支持删改的，但是为什么Hbase就支持呢？首先，这里的删除并不是真正意义上的对数据进行删除，而是对数据进行打上标记，我们再去查的时，就不会查到这个打过标记的数据，这个数据Hmaster会每隔1小时清理。修改是put两次，Hbase会取最新的数据，过期数据也是这个方式被清理。四、HBase1.4.6安装搭建4.1 hbase下载官网下载地址：https://www.apache.org/dyn/closer.lua/hbase/1.4.6/hbase-1.4.6-bin.tar.gz

文章插图
4.2 前期准备（Hadoop,zookeeper,jdk）

启动hadoop

start-all.sh

验证

http://master:50070

启动zookeeper（三台分别启动）

zkServer.sh start

检查状态

zkServer.sh status4.3 搭建Hbase1、上传解压tar -zxvf hbase-1.4.6-bin.tar.gz2、配置环境变量export HBASE_HOME=/usr/local/soft/hbase-1.4.6$HBASE_HOME/bin

source /etc/profile

3、修改hbase-env.sh文件

增加java配置

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

关闭默认zk配置（原本是注释的，放开修改false）

export HBASE_MANAGES_ZK=false4、修改hbase-site.xml文件 <property> <name>hbase.rootdir</name> <value>hdfs://master01:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node1,node2,master01</value> </property>5、修改regionservers文件