安装CDH4遇到的问题

安装CDH4.2.0遇到的一些问题,记录下来:

1、LZO的问题

由于CDH4中JobContext由class变为一个interface,所以直接使用原先的lzo的jar包会出现问题,替换为cloudera提供的一个rpm包中的lzo

2、codec配置

配置core-site.xml

 <property>

    <name>io.compression.codecs</name>    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzopCodec</value>

  </property>

注意codec不要有空格

3、切换hadoop用户报错

报错为cannot set user id: Resource temporarily unavailable错误,说明资源不足,经检查是打开文件超出限制

解决方法:在32内核中除了设置/etc/security/limit.conf外,还需要设置/etc/security/limits.d/90-nproc.conf

原文地址:https://www.cnblogs.com/sidmeng/p/3092210.html