使用yum安装CDH Hadoop集群

使用yum安装CDH Hadoop集群——局域网集群

原文链接:http://blog.chinaunix.net/uid-33797-id-4912855.html,更详细过程参考原文。

简单描述:

  在局域网集群内部使用本地yum源搭建CDH集群,并进行相关配置。

简要步骤:

  1.配置本地yum仓库,集群本地yum源

  2.修改节点hosts信息

  3.配置ssh无秘钥登录

  4.安装和配置HDFS

  5.安装和配置yum

  6.安装和配置zookeeper

详细步骤:

  1.配置本地yum仓库,本地yum源

    本地yum仓库主要是将已经有的yum源文件进行共享,是的集群中每一个节点都能访问到,一本可以通过http服务器,ftp服务器,NFS挂载方式进行共享

    注:只要能共享并且其他节点能够访问到就可以,形式不限。

    1>集群可以上网,本地yum源配置详细过程自行百度_参考http://www.cnblogs.com/nidey/p/6200685.html

    2>如果不能够上网,可以直接进入到/etc/yum.repos.d/目录,删除或者备份原有的.repo文件(CentOS 默认安装yum,没有的自行安装)

      然后创建自己的xxx.repo文件,进行简单配置

      编辑xxx.repo文件,输入:(简单配置,需要详细配置的自行百度,各个元素含义自行百度)    

1 [cloudera-cdh5]
2 # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
3 name=Cloudera's Distribution for Hadoop, Version 5
4 baseurl=http://xx.xx.xx.xx/cdh/5/
5 gpgcheck = 0

    3>执行 yum clean all

    4>直接使用

  2.配置节点hosts信息——使用DNS可以略过这一步

    2.1 修改hostname

      使用hostname 指令查看各个节点名称是否与规划一致

      如果不一致:

      修改/etc/sysconfig/network中hostname=master

      其他节点修改成相对应的名称

    2.2 检查hostname和ip和规划上一致无误

    2.3 修改hosts  -> 如果使用DNS,可以不配置,这里配置好也是一种好的习惯

      修改/etc/hosts ,添加以下内容

      192.168.240.162 master

      192.168.240.163 slave1

      192.168.240.167 slave2

      192.168.240.161 slave3

    2.4 检查各个节点通过hostname是否能相互ping通  

  3.配置ssh 无秘钥登录

    ——>方便切换节点进行配置,master节点直接ssh到其他节点

    ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

ssh-copy-id -i ip  

  4.安装和配置hdfs —— 安装配置zookeeper参考原文:http://blog.chinaunix.net/uid-33797-id-4912855.html,比较详细或者查看官网http://www.cloudera.com/documentation/enterprise/latest/topics/introduction.html更佳。 

  

原文地址:https://www.cnblogs.com/husky/p/6322705.html