Hbase预分区

HBase的预分区

1、为何要预分区？

• 增加数据读写效率
• 负载均衡，防止数据倾斜
• 方便集群容灾调度region
• 优化Map数量

2、如何预分区？

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。

3、如何设定预分区？

3.1、手动指定预分区

create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']

完成后如图：

 

3.2、使用16进制算法生成预分区

create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

完成后如图：

 

3.3、分区规则创建于文件中

创建splits.txt文件内容如下：

aaaa
bbbb
cccc
dddd

然后执行：

create 'table2','partition2',SPLITS_FILE => 'splits.txt'

成功后如图：

 

3.4、使用JavaAPI创建预分区

Java代码如下：

//自定义算法，产生一系列Hash散列值存储在二维数组中

byte[][] splitKeys = 某个散列值函数

//创建HBaseAdmin实例

HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());

//创建HTableDescriptor实例

HTableDescriptor tableDesc = new HTableDescriptor(tableName);

//通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表

hAdmin.createTable(tableDesc, splitKeys);