hadoop运行案例

运行一个example

[hadoop@hadoop01 hadoop]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10

运行的过程中报错

然后去查看jobhistory

发现以下错误

Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support

错误解析:不支持snappy格式的压缩

解决方法:

解决问题需要编译好的支持本格式的压缩的hadoop组件,但是我们的hadoop是从网上下载的,并没有这种组件,所以这种方法是行不通的。

但是我们可以通过对参数的配置的改变来解决这个问题

首先我们是跑mr报错,所以考虑配置更改是要考虑mapred-site.xml,打开以后把以下这段红框里的内容删掉就可以了

 考虑完mr的配置文件,再考虑一下公共的文件配置,core-site.xml文件里边的配置也要看一下,以下是相关内容,红框里的内容也需要删掉

以上步骤都操作完了,再重新启动集群,重新跑一次,这时候就OK啦!!!开森!!!,

开森完继续思考一下

为什么要使用这个压缩格式呢?

因为可以减少map的磁盘io

我们通过hadoop checknative来查看当前我们的hadoop版本支持什么压缩格式。

可以发现红框里的几种压缩格式都是不支持的。

原文地址:https://www.cnblogs.com/xuziyu/p/10673855.html