大数据-04-Hbase入门

本文主要来自于 http://dblab.xmu.edu.cn/blog/install-hbase/ 谢谢原作者
本指南介绍了HBase，并详细指引读者安装HBase. 前面第二章学习指南已经指导大家安装Linux操作系统，并安装配置了Hadoop。相关安装可以查看“大数据-01-安装Hadoop”。

一、安装并配置HBase

1. HBase安装

1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local，命令如下：

sudo cp hbase-1.1.2-bin.tar.gz /usr/local
cd /usr/local
sudo tar -zxf hbase-1.1.2-bin.tar.gz

1.2 将解压的文件名hbase-1.1.2改为hbase，以方便使用，命令如下：

sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase

1.3 配置环境变量
将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作，有助于初学者理解运行过程，熟练之后可以不必切换。
编辑~/.bashrc文件

vim ~/.bashrc

如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容, 如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin，这里的“：”是分隔符。

export PATH=$PATH:/usr/local/hbase/bin

编辑完成后，再执行source命令使上述配置在当前终端立即生效，命令如下：

source ~/.bashrc

1.4 添加HBase权限

cd /usr/local
sudo chown -R hadoop ./hbase       #将hbase下的所有文件的所有者改为hadoop，hadoop是当前用户的用户名。

1.5 查看HBase版本，确定hbase安装成功,命令如下：

/usr/local/hbase/bin/hbase version

命令执行后，输出信息截图如下：
此处输入图片的描述

二、 HBase配置

HBase有三种运行模式，单机模式、伪分布式模式、分布式模式。作为学习，我们重点讨论分布式模式。相关安装可以查看“大数据-01-安装Hadoop”。
以下先决条件很重要，比如没有配置JAVA_HOME环境变量，就会报错。
– jdk
– Hadoop( 单机模式不需要，伪分布式模式和分布式模式需要)
– SSH

2.1分布模式配置

配置/usr/local/hbase/conf/hbase-env.sh 。配置JAVA环境变量，并添加配置HBASE_MANAGES_ZK为true，用vi命令打开并编辑hbase-env.sh，命令如下：

vi /usr/local/hbase/conf/hbase-env.sh

配置JAVA环境变量，jdk的安装目录默认是 /usr/lib/jvm/java-8-openjdk-amd64
，则JAVA _HOME =/usr/lib/jvm/java-8-openjdk-amd64
，配置HBASE_MANAGES_ZK为true，表示由hbase自己管理zookeeper，不需要单独的zookeeper。hbase-env.sh中本来就存在这些变量的配置，大家只需要删除前面的#并修改配置内容即可(#代表注释)：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=true 
export HBASE_HOME=/usr/local/hbase
export HADOOP_HOME=/usr/local/hadoop
export HBASE_LOG_DIR=/usr/local/hbase/logs

添加完成后保存退出即可。

配置/usr/local/hbase/conf/hbase-site.xml
打开并编辑hbase-site.xml，命令如下：

vi /usr/local/hbase/conf/hbase-site.xml

在启动HBase前需要设置属性hbase.rootdir，用于指定HBase数据的存储位置，因为如果不设置的话，hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即（/usr/local/hbase/hbase-tmp）,添加配置如下：

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://Master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>Master:60000</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Master,Slave1</value>
    </property>
</configuration>

配置regionservers

vim /usr/local/hbase/conf/regionservers

修改内容为

Master
Slave1

复制hbase到从节点中
scp -r /usr/local/hbase Slave1:/usr/local/
接下来测试运行。首先切换目录至HBase安装目录/usr/local/hbase；再启动HBase。命令如下：

cd /usr/local/hbase
bin/start-hbase.sh

启动后，master上进程和slave进程列表

Slave1服务器上的结果如下：

注意！！！

因为hbase依赖于hadoop，因此启动和停止都是需要按照顺序进行

如果安装了独立的zookeeper
启动顺序: hadoop-> zookeeper-> hbase
停止顺序：hbase-> zookeeper-> hadoop

使用自带的zookeeper
启动顺序: hadoop-> hbase
停止顺序：hbase-> hadoop

三、编程实践

1. 利用Shell命令

1.1 HBase中创建表

HBase中用create命令创建表，具体如下：

cd /usr/local/hbase
bin/hbase shell

在hbase shell中执行下面语句,[如果有hbase>打头的语句，都表示在hbase shell中执行]:

hbase> create 'student','Sname','Ssex','Sage','Sdept','course'

命令执行成功，返回如下：

0 row(s) in 1.4720 seconds
=> Hbase::Table - student

此时，即创建了一个“student”表，属性有：Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键，无需自行创建，默认为put命令操作中表名后第一个数据。创建完“student”表后，可通过describe命令查看“student”表的基本信息。命令执行截图如下：
此处输入图片的描述

1.2 HBase数据库基本操作

本小节主要介绍HBase的增、删、改、查操作。在添加数据时，HBase会自动为添加的数据添加一个时间戳，故在需要修改数据时，只需直接添加数据，HBase即会生成一个新的版本，从而完成“改”操作，旧的版本依旧保留，系统会定时回收垃圾数据，只留下最新的几个版本，保存的版本数可以在创建表的时候指定。

添加数据
HBase中用put命令添加数据，注意：一次只能为一个表的一行数据的一个列，也就是一个单元格添加一个数据，所以直接用shell命令插入数据效率很低，在实际应用中，一般都是利用编程操作数据。
当运行命令：put ‘student’,’95001’,’Sname’,’LiYing’时，即为student表添加了学号为95001，名字为LiYing的一行数据，其行键为95001。

hbase> put 'student','95001','Sname','LiYing'

命令执行截图如下，即为student表添加了学号为95001，名字为LiYing的一行数据，其行键为95001。
此处输入图片的描述
命令执行截图如下，即为95001行下的course列族的math列添加了一个数据。

hbase>  put 'student','95001','course:math','80'

查询数据结果如下：

删除数据
在HBase中用delete以及deleteall命令进行删除数据操作，它们的区别是：1. delete用于删除一个数据，是put的反向操作；2. deleteall操作用于删除一行数据。

delete 命令

hbase> delete 'student','95001','Sname'

命令执行截图如下，即删除了student表中95001行下的Sname列的所有数据。查询数据结果如下:

deleteall命令

hbase>deleteall 'student','95001'

查询数据结果如下：

scan命令用于查看某个表的全部数据

hbase> scan 'student'

删除表
删除表有两步，第一步先让该表不可用，第二步删除表。

hbase>disable 'student'  
hbase>drop 'student'

1.3 查询表历史数据

查询表的历史版本，需要两步。
1、在创建表的时候，指定保存的版本数（假设指定为5）

hbase>create 'teacher',{NAME=>'username',VERSIONS=>5}

2、插入数据然后更新数据，使其产生历史版本数据，注意：这里插入数据和更新数据都是用put命令

hbase> put 'teacher','91001','username','Mary'
hbase> put 'teacher','91001','username','Mary1'
hbase> put 'teacher','91001','username','Mary2'
hbase> put 'teacher','91001','username','Mary3'
hbase> put 'teacher','91001','username','Mary4'  
hbase> put 'teacher','91001','username','Mary5'

3、查询时，指定查询的历史版本数。默认会查询出最新的数据。（有效取值为1到5）

hbase>get 'teacher','91001',{COLUMN=>'username',VERSIONS=>5}

此处输入图片的描述