HBase简介

1.HBase简介

真正意义上的数据库，和hive不同，hive只是一个数据仓库

Row Key 相同的是一行，默认大小64K

Time Stamp 时间戳来记录版本

CF1 CF2 CF3 列族

一个列族下可以有多个列

HBase 表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如create ‘test’,’course’;创建表的时候必须要把列族创建出来，列可以先不创建
列名以列族作为前缀，每个列族都可以有多个列成员(column),如 course:math,course:english,新的列族成员(列)可以随后按需、动态加入；
权限控制、存储以及调优都是在列族层面进行的；
HBase把同一列族里面的数据存储在同一目录下，由几个文件保存

由行和列的坐标交叉决定
单元格是有版本的，只要单元格的内容一改动，就会新添加一个版本
单元格的内容是未解析的字节数组，以key – value的形式存储
- 由{row key , column(=<family>+<qualifier>) , version} 唯一确定的单元格。Cell中的数据是没有类型的，全部是字节码形式存储。
- Key 为 {row key , column(=<family>+<qualifier>) , version}
- Value为内容

Hlog文件就是一个普通的Hadoop Sequence File,Sequence File 的 Key是HlogKey对象，HlogKey对象，HlogKey中记录了写入数据的归属信息，除了table和region名字外，同事还包括sequence number 和 timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
Hlog SequenceFile 的 Value 是 HBase的Key Value对象，即对应HFile中的KeyValue.

zookeeper给HBASE提供高可用（HA），解决单点故障

主节点为HMaster，可存在多个，但是工作的只有一个

从节点为HRegionServer,从节点可以有多个

客户端client请求zookeeper，由zookeeper告诉客户端那个主节点可用。

图中有错，每个HRegionServer只有一个HLog,HLog属于HRegionServer

　　HRegionServer有多个HRegion,HRegion是对表中的数据进行横向的切分得到的Region，按照行来切，行由RowKey决定

　　查询数据时，先到MemStore中查，如果没有再去StoreFile中查，根据元数据拿数据

- - Store：表示列族，每个store都代表一个列族，store中的数据在hdfs存储时都是放在一个目录下的
    - MemStore：内存store，系统在往HBase写数据的时候，先写入到内存中。当内存中到达一定数量后，就写入到磁盘，也就是storeFile

- - - StoreFile（多个）：MemStore溢写到磁盘时生成的文件就是StoreFile,StoreFile就要存到hdfs中去，StoreFile中记录HFile的元数据（HFile的存放目录，文件名，大小等），每个StoreFile包含一个HFile

- - - - HFile：存到hdfs中的数据文件
    - 每次溢写都会产生一个StoreFile,每个StoreFile包含一个HFile,HFile特别小，所以会产生很多小文件，所以HBase提供一个机制，专门处理这些小文件，把小文件合并成大文件
Client
- 包含访问HBase的接口并维护cache来加快对HBase的访问
Zookeeper
- 保证任何时候，集群中只有一个master
- 存储所有Region的寻址入口
- 实时监控Region server的上线和下线信息。并实时通知Master，Master将下线的RegionServer中存储的数据转移到active的RegionServer中
- 存储HBase的schema和table元数据

Master
- 为Region server分配region
- 负责Region server的负载均衡，把新增的region分配到空闲或者任务较少的regionserver中去
- 发现失效的Region server 并重新分配其上的region
- 管理用户对table的增删改操作
RegionServer
- Region server维护region，处理对这些region的IO 请求
- Region server负责切分在运行过程中变得过大的region

Region
- HBase自动把表水平划分成多个区域（region），每个region会保存一个表里面某段连续的数据，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阈值的时候，region就会等分为两个新的region（裂变）
- 当 table中的行不断增多，就会有越来越多的region，这样一张完整的表被保存在多个regionserver上。

　　HBase中，数据是按照rowkey来排序的，每个region中都会存几条连续的行数据

优化：每张表最好不超过三个列族，列族少了，store也就少了，store少了，storefile也就少了，合并也就少了，没有那么耗内存了