hbase
什么是hbase
- 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统
- 可以用来在pc server上搭建起大规模的结构化数据存储的集群
- 利用hdfs为其文件存储系统，利用mapreduce来处理数据，zookeeper作为协调工具
hbase应用场景
- 需对数据进行随机读操作或者随机写操作
- 大数据量高并发操作，比如每秒对PB级数据进行上千次操作
- 读写均是非常简单的操作
逻辑数据类型
- hbase中的表是稀疏表
- 逻辑模型会将hbase中的行分割成按照列族存储的模型
- 行键
- 只有唯一一个行键
- 按字典顺序排列
- 时间戳
- 是一个六十四位整数
- 列族：列的集合
- 支持动态扩展，无需提前定义
- 所有列均已二进制形式存储，用户需要自行进行类型转换
- 在物理存储上同一个族的数据是存储在一起的
- 列
- 时间戳：记录更新的时间
- 更新时添加一条记录
- 查找时取最新的时间的记录
系统架构
- client：包含访问hbase的接口，维护着cache来加快对hbase的访问，比如region的位置信息
- zookeeper
- 保证任何时候，集群中只有一个running master
- 存储所有region的寻址入口
- 实时监控region server的状态，将region的上线和下线信息实时通知master
- 存储hbase的schema，包括有哪些table，每个table有哪些column family
- master
- 启动多个hmaster
- 通过zookeeper的master election机制保证总有一个master运行
- 为region server分配region，并且使其负载平衡
- 发现失效的region server并重新分配其上的region
- region server
- 维护master分配给它的region，处理对这些region的IO请求
- 负责切分在运行过程中变得过大的region
hbase shell
hbase可以进行的操作
