HBase 详解

1.HBase 架构


============================================

2. HBase Shell 操作

2.1. 基本操作

  • 进入HBase客户端命令行：bin/hbase shell
  • 查看帮助命令：help
  • 查看当前数据库中有哪些表：list

2.2. 表的操作

// 2.2.1. 创建表
create 'student','info'(列族)

// 2.2.2. 插入数据到表
put 'student','1001','info:sex','male'
put 'student','1001','info:age','18'
put 'student','1002','info:name','Janna'
put 'student','1002','info:sex','female'
put 'student','1002','info:age','20'

// 2.2.3. 扫描查看表数据
scan 'student'
scan 'student',{STARTROW => '1001', STOPROW => '1004'}
scan 'student',{STARTROW => '1001'}

// 2.2.4. 查看表结构
describe 'student'

// 2.2.5. 更新指定字段的数据
put 'student','1001','info:name','zhangsan'
put 'student','1001','info:age','22'

// 2.2.6. 查看“指定行”或“指定列族：列”的数据
get 'student','1001'
get 'student','1001','info:name'

// 2.2.7. 统计表数据行数
count 'student'

// 2.2.8. 删除数据:
// 删除某rowkey的全部数据
deleteall 'student','1001'
// 删除某rowkey的某一列数据
delete 'student','1002','info:sex'

// 2.2.9. 清空表数据
// 清空表的操作顺序为先disable， 然后再 truncate
truncate 'student'

// 2.2.10. 删除表
// 先让该表为 disable 状态
disable 'student'
// 然后才能 drop 这个表
drop 'student'

// 2.2.11 变更表信息
// 将info列族中的数据存放3个版本
alter 'student',{NAME=>'info',VERSIONS=>3}
get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}

3. HBase 数据结构

3.1 RowKey

  • RowKey 可以是任意字符串（最大长度是64KB，实际应用中长度一般为10-100bytes），在HBASE内部，RowKey 保存为字节数组。存储时，数据按照 RowKey 的字典序排序存储。设计 RowKey 时，要充分考虑排序存储这个特性，将经常一起读取的行存储在一起。（位置相关性）
  • RowKey 是用来检索记录的主键。访问HBase table中的行，有三种方式：
    • 通过单个 RowKey 访问；
    • 通过 RowKey 的 range（正则）
    • 全表扫描

3.2 Column Family

  • 列族：HBASE 表中的每个列，都归属于某个列族。列族是表的 schema 的一部分（而列不是）。必须在使用表之前定义。列名都以列族作为前缀。例如：courses:history, courses:math 都属于 courses 这个列族。

3.3 Cell

  • 由（rowkey, column Family:column, version)唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存储。

3.4 TimeStamp

  • 版本通过时间戳来索引；

3.5 命名空间

  • Table: 表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在 default 默认的命名空间中；
  • RegionServer group：一个命名空间包含了默认的 RegionServer Group;
  • Permission: 权限。命名空间能够让我们来定义访问控制列表ACL（Access Control List)；
  • Quota：限额，可以强制一个命名空间可包含的 region 数量；
  • 常用命令：
    • 查看命名空间：list_namespace;
    • 创建命名空间：create_namespace 'bigdata';
    • 在指定命名空间下，创建表：create 'bigdata:student','info';
    • 删除命名空间：drop_namespace 'bigdata';

4. HBase 原理

4.1 读流程


=========================

4.2 写流程

  • Client 向 HregionServer 发送写请求；
  • HregionServer 将数据写到 HLog(write ahead log)。为了数据的持久化和恢复；
  • HregionServer 将数据写到内存（MemStore）；
  • 反馈 Client 写成功；


=========================

4.3 数据flush过程

  • 当 MemStore 数据达到阈值（默认是 128M，老版本是 64M），将数据刷到磁盘，将内存中的数据删除，同时删除HLog中的历史数据；
  • 将数据存储到HDFS中；
  • 在HLog中做标记点；

4.4 数据合并过程

  • 当数据块达到4块，Hmaster 触发合并操作， Region 将数据块加载到本地，进行合并；
  • 当合并的数据超过 256M， 进行拆分，将拆分后的 Region 分配给不同的 HregionServer 管理；
  • 当 HregionServer 宕机后，将 HregionServer 上的 hlog拆分，然后分配给不同的 HregionServer 加载，修改 META;
  • 注意：HLog 会同步到 HDFS;

5. HBase API 操作

5.1 环境准备

// pom.xml
  <dependencies>
      <dependency>
          <groupId>junit</groupId>
          <artifactId>junit</artifactId>
          <version>RELEASE</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hbase</groupId>
          <artifactId>hbase-server</artifactId>
          <version>1.3.4</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hbase</groupId>
          <artifactId>hbase-client</artifactId>
          <version>1.3.4</version>
      </dependency>
  <dependencies>

5.2 程序编写

public class TestHbase {
	
	private static Admin admin = null;
	private static Connection connection = null;
	private static Configuration configuration = null;
	static {
		// HBase 配置文件
		configuration = HBaseConfiguration.create();
		// zookeeper 配置
		configuration.set("hbase.zookeeper.quorum", "Zookeeper地址");
		configuration.set("hbase.zookeeper.property.clientPort", "2181");
		
		// 获取连接对象
		try {
			connection = ConnectionFactory.createConnection(configuration);
			admin = connection.getAdmin();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
	}
	
	private void close(Connection conn, Admin admin) {
		if (conn != null) {
			try {
				conn.close();
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
		
		if (admin != null) {
			try {
				admin.close();
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
	}
	
	// 判断表是否存在
	@Test
	public void tableExist() throws IOException {
		
		// 执行操作
		Boolean student = admin.tableExists(TableName.valueOf("student"));
		System.out.println("表Staff是否存在："+student);
		
		Boolean staff = admin.tableExists(TableName.valueOf("staff"));
		System.out.println("表Staff是否存在："+staff);
		this.close(connection, admin);
		
	}
	
	// 创建表
	@Test
	public void createTable() throws IOException {
		// 创建表描述器
		HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("country"));
		
		// 创建列描述器
		HColumnDescriptor hColumnDescriptor = new HColumnDescriptor("name");
		// 添加列族
		hTableDescriptor.addFamily(hColumnDescriptor);
		
		// 创建表操作
		admin.createTable(hTableDescriptor);
		
		System.out.println("表已经创建成功!");
		this.close(connection, admin);
	}
	
	// 删除表
	@Test
	public void deleteTable() throws IOException {
		
		// 使表不可用
		admin.disableTable(TableName.valueOf("country"));
		
		// 删除表
		admin.deleteTable(TableName.valueOf("country"));
		
		System.out.println("表已经删除成功!");
		this.close(connection, admin);
	}
	
	
	// 操作表中数据： 
	// 增/改数据
	@Test
	public void putData() throws IOException {
		// 获取table对象
		Table table = connection.getTable(TableName.valueOf("student"));
		
		// 创建put对象
		Put put = new Put(Bytes.toBytes("1010"));
		// 添加数据
		put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("貂蝉"));
		
		// 执行添加操作
		table.put(put);
		
		System.out.println("数据添加成功!");
		this.close(connection, admin);
	}
	
	// 删除数据
	@Test
	public void deleteData() throws IOException {
		// 获取table对象
		Table table = connection.getTable(TableName.valueOf("student"));
		
		// 创建delete对象
		Delete delete = new Delete(Bytes.toBytes("1010"));
		// 第一种方式：不建议使用，只是删除最新版本
//		delete.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
		// 第二种方式：删除所有版本
		delete.addColumns(Bytes.toBytes("info"), Bytes.toBytes("name"));
		
		// 删除数据
		table.delete(delete);
		
		System.out.println("数据删除成功!");
		table.close();
		this.close(connection, admin);
	}
	
	// 查询数据
	// 全表扫描
	@Test
	public void scanTable() throws IOException {
		Table table = connection.getTable(TableName.valueOf("student"));
		// 构建扫描器
		Scan scan = new Scan();
		
		ResultScanner results = table.getScanner(scan);
		for(Result result : results) {
			Cell[] cells = result.rawCells();
			for (Cell cell : cells) {
				System.out.println("RK:" + Bytes.toString(CellUtil.cloneRow(cell)) +
								   ",CF:" + Bytes.toString(CellUtil.cloneFamily(cell)) + 
								   ",CN:" + Bytes.toString(CellUtil.cloneQualifier(cell)) + 
								   ",VALUE:" + Bytes.toString(CellUtil.cloneValue(cell)));
			}
		}
		
		table.close();
		this.close(connection, admin);
	}

  // 获取指定列族：列的数据
	@Test
	public void scanColumnFamily() throws IOException {
		Table table = connection.getTable(TableName.valueOf("student"));
		// 创建get对象
		Get get = new Get(Bytes.toBytes("1001"));
		
		Result result = table.get(get);
		Cell[] cells = result.rawCells();
		for (Cell cell : cells) {
			System.out.println("RK:" + Bytes.toString(CellUtil.cloneRow(cell)) +
							   ",CF:" + Bytes.toString(CellUtil.cloneFamily(cell)) + 
							   ",CN:" + Bytes.toString(CellUtil.cloneQualifier(cell)) + 
							   ",VALUE:" + Bytes.toString(CellUtil.cloneValue(cell)));
		}
	}
}

**参考资料:** - [ubuntu 16.04 开放指定端口](https://blog.csdn.net/fancancan/article/details/81286689) - [HBase 单机启动问题](https://blog.csdn.net/Sunday2017/article/details/80569947) - [hadoop +zookeeper + hbase 单节点安装](https://www.cnblogs.com/chaoren399/p/5018550.html) - [Windows 环境下，出现“UnknownHostException”](https://blog.csdn.net/weixin_40861707/article/details/79979491)
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/linkworld/p/10963910.html