HBase集群部署

HBase集群部署

1、背景知识

HBase是一个面向列的分布式存储数据库，利用HBase技术可以在PC Server上搭建大规模结构化存储集群。

HBase的运行依赖于Hadoop和Zookeeper。HBase利用HDFS作为其文件存储系统；利用MapReduce处理HBase中的数据;利用Zookeeper作为分布式应用程序协调服务，同时存储HBase集群的元数据信息可以为HBase集群提供故障自动转移功能，以保证HBase集群的高可用。

2、使用软件及其版本

• 环境

  • 虚拟机:VirtualBox 6.0.24 r139119

  • Linux:CentOS 7

  • Windows:Windows10

• 软件

  • HBase:hbase-1.2.0-cdh5.7.0

  • Zookeeper:zookeeper-3.4.5-cdh5.7.0

• 工具

• 远程连接工具:XShell6

• SFTP工具:FileZilla3.33.0

3、目标

• HBase集群部署

4、操作步骤

1. HBase集群规划

   主机名	IP	HMaster	HRegionServer
   master	192.168.137.2	是	否
   slave01	192.168.137.3	是	是
   slave02	192.168.137.4	否	是

2. HBase集群部署

   1. 下载HBase

      在下列网址http://archive-primary.cloudera.com/cdh5/cdh/5/下载hbase的cdh版本。注意:当前cdh版本已经不在提供免费资源下载。

   2. 安装HBase

      1. 上传hbase-1.2.0-cdh5.7.0.tar.gz到CentOS后。解压安装，使用命令:

         tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/app/

         1. 修改配置文件

            进入hbase的安装目录下的conf目录中

            1. 修改配置文件hbase-env.sh，使用命令

               sudo vi hbase-env.sh

               添加配置信息到文件末尾

                export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
                export HABSE_MANAGES_ZK=false

               其中export HABSE_MANAGES_ZK设置为false，表示不使用HBase内置的Zookeeper

               

            2. 修改配置文件hbase-site.xml，使用命令

               sudo vi hbase-site.xml

               添加配置信息

                <property>
                    <name>hbase.rootdir</name>
                    <value>hdfs://ns/hbase</value>
                </property>
                <property>
                    <name>hbase.cluster.distributed</name>
                    <value>true</value>
                </property>
                <property>
                    <name>hbase.zookeeper.quorum</name>
                    <value>master:2181,slave01:2181,slave02:2181</value>
                </property>

               • hbase.rootdir:表示HBase集群中所有的HRegionServer共享目录,用来持久化HBase的数据，一般设置的是HDFS的文件目录，由于部署的Hadoop是高可用集群，因此，这里需要与Hadoop配置文件core-site.xml中参数fs.defaultFs指定的nameservice一致(ns)，若使用非高可用集群，则指定NameNode节点主机名加端口号即可。

               • hbase.cluster.distributed:设置HBase的存储模式为分布式存储,默认为false

               • hbase.zookeeper.quorum:设置zookeeper的服务器列表信息

               

            3. 修改配置文件regionservers，使用命令

               sudo vi regionservers

               删除localhost,添加运行HRegionServer服务的主机名:

                slave01
                slave02 <img src="项目07/image-20210922144126195.png" alt="image-20210922144126195" style="zoom:80%;" />

            4. 复制hadoop配置文件

               进入hadoop安装目录下的/etc/hadoop目录，将配置文件core-site.xml和hdfs-site.xml复制到HBase的安装目录下的conf目录中，用于HBase启动时读取Hadoop的核心配置信息和HDFS信息，使用命令：

               cp {core-site.xml,hdfs-site.xml} ~/app/hbase-1.2.0-cdh5.7.0/conf/

               

         2. 配置备用HMaster

            进入HBase安装目录的conf目录下，执行vi backup-masters命令编辑备用HMaster配置文件，在配置文件中添加备用HMaster所在主机的主机名slave01

            

      2. 分发HBase安装目录

         在master节点把配置好的hbase安装目录分发到slave01节点和slave02节点上，使用命令:

          scp -r hbase-1.2.0-cdh5.7.0/ hadoop@slave01:~/app/
          scp -r hbase-1.2.0-cdh5.7.0/ hadoop@slave02:~/app/

      3. 配置HBase环境变量

         在master,slave01,slave02分别配置环境变量，添加HBASE_HOME信息，使用命令

         sudo vi /etc/profile

         添加信息

          export HBASE_HOME=/home/hadoop/app/hbase-1.2.0-cdh5.7.0
          export PATH=$HBASE_HOME/bin:$PATH

         

         使用source /etc/profile命令，使配置生效。

      4. 启动HBase集群

         在确保Zookeeper集群和Hadoop高可用集群正常启动的情况下,启动HBase高可用集群，在master节点使用命令:

         start-hbase.sh

         

      5. 检查

         在master,slave01,slave02节点使用jps命令查看进程

         

         

         

         三个节点出现上述进程，表示HBase集群配置成功！

         也可以通过浏览器访问192.168.137.2:60010，查看

         

5、总结