基于Hbase数据的Mapreduce程序环境开发

一、实验目标

  编写Mapreduce程序,以Hbase表数据为Map输入源,计算结果输出到HDFS或者Hbase表中。

在非CDH5的Hadoop集群环境中,将编写好的Mapreduce程序整个工程打成Jar包提交到Hadoop集群中运行。 本文记录实验过程中的遇到的问题及解决思路。

  简单描述集群环境:Hadoop2.6, Hbase0.98 。

  1、因Mapreduce程序中使用到了Hbase的Java API ,那么必须把Hbase的相应的lib包,复制到Hadoop集群环境中的每个节点的Hadoop目录。网上的资料大部分说将hbase-0.98.jar 复制到hadoop/lib目录。hadoop2.6版本中的jar包都在share目录中,包含hdfs,common,yarn等子目录。实验环境中的Hbase0.98为官方下载的:hbase-0.98.10-hadoop2-bin.tar.gz。解压该文件后,我将lib目录中,以hbase开头,及high-scale-lib-1.1.1.jar、htrace-core-2.04.jar复制到了hadoop2.6中share/common目录中。hadoop2.6/share/common/   hadoop2.6/share/common/lib等目录中的jar包,在集群启动的时候已经添加到了classpath中。

    

      2、 RMProxy: Connecting to ResourceManager Already tried 1 time(s); 

      出现该错误:检查防火墙是否关闭 or 集群中的Yarn服务是否启动。

原文地址:https://www.cnblogs.com/tmeily/p/4502387.html