Hadoop面试总结(三)Hbase、Spark

Hbase

Hbase 的角色:Hmaster和RegionServer

Hmaster:

管理RegionServer:监控和处理故障转移

Region的分配

RegionServer:

存储Hbase的真实数据

处理Hmaster分配给他的Region

Hbase 的架构

有两种:一种是作为存储的分布式文件系统、一种是作为数据处理的MR架构

Hbase读流程

因为表和表数据都是在HRegionServer上存放的,所以要先找到存放数据的那个HRegionServer;客户端去访问Zookeeper,从Zookeeper获取Meta表所在的位置信息;

找到存放这个Meta表的HRegionServer,获取Meta中的元数据,根据元数据信息访问对应的HRegionServer;

Hbase写流程

Client先访问Zookeeper,找到meta表,并获取Meta表信息,确认要写入的HRegionServer;然后客户端想HRegionServer发起写入数据请求,收到HregionServer相应后开始写入数据;数据先写入HLog,防止数据丢失。然后写入Memstore,两者都写入成功则代表数据写入成功。

 

原文地址:https://www.cnblogs.com/Vowzhou/p/11248680.html