hadoop完全分布式安装教程

环境说明

  集群中有三个节点:一个Master,两个Slave。

  节点的IP地址分别为:

            Master:192.168.140.132

            Slave1:192.168.140.133

            Slave2:192.168.140.134

  可以通过ifconfig查看自己虚拟机的IP地址。

网络配置

  修改自己各个节点的主机名

    vi /etc/sysconfig/network

    

  修改节点的IP映射

     vi /etc/hosts

    

  重启虚拟机

    sudo reboot

  以上操作同时要在另外两个节点上配置

配置SSH免密登录

  cd ~/.ssh

  #删除之前的公钥

  rm ./id_rsa*

  #生成公钥,然后一直按回车

  ssh-keygen -t rsa

  cat ./id_rsa.pub >> ./authorized_keys

  #修改权限

  chmod 600 authorized_keys

   #验证

  ssh Master

  

   #将Master节点上公钥传输到另外两个节点上

  scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/

  scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/

  #在Slave1、Slave2上将上述公钥加入授权

  cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

  cd ~/.ssh/

  chmod 600 authorized_keys

安装JDK,配置环境变量

  分别在Master、Slave1、Slave2上安装JDK环境

    cd /usr/local

    tar -zxvf JDK-(看你虚拟机是32位的还是64位的,下载对应的安装包)

  配置JAVA_HOME环境变量

    vi ~/.bashrc

    #在最后一行添加

    export JAVA_HOME=(你JDK的安装位置)

    export PATH=$JAVA_HOME/bin:$PATH:

    #使环境变量配置生效

    source ~/.bashrc

  验证

    java -version

    

 安装配置hadoop

  在Master节点上

   #进入到你压缩包的位置,并解压

   cd /usr/local

   tar -zxvf  hadoop-2.7.2.tar.gz

   #将文件夹名修改位hadoop

   mv hadoop-2.7.2 hadoop

   #修改文件权限

   chmon -R stu:stu hadoop

   #修改环境变量

   vi ~/.bashrc

   #添加以下内容

   

   #使配置生效

   source ~/.bashrc

 修改五个配置文件

  /usr/local/hadoop/etc/hadoop/slaves

  

  /usr/local/hadoop/etc/hadoop/core-site.xml添加

  

   /usr/local/hadoop/etc/hadoop/hdfs-site.xml添加

  

    /usr/local/hadoop/etc/hadoop/mapred-site.xml添加

  

    /usr/local/hadoop/etc/hadoop/yarn-site.xml添加

  

   完成后分别将hadoop文件夹和bashrc文件发送到Slave1、Slave2节点上

    sudo scp -r /usr/local/hadoop Slave1:/usr/local/

    sudo scp -r /usr/local/hadoop Slave2:/usr/local/

    scp /home/hadoop/.bashrc stu@Slave1:/home/hadoop/

    scp /home/hadoop/.bashrc stu@Slave2:/home/hadoop/

  接着进入Slave1、Slave2进行下面的操作

    

   最后在Master节点上进行格式化

  hdfs namenode -format

  

 启动集群

  在Master节点上start-all.sh

  在Master、Slave1、Slave2上输入jps检查

  

   

  

   进入Master:50070查看

  

 到此,hadoop完全分布式搭建成功。

  

     

原文地址:https://www.cnblogs.com/xiaoxiangzhumm/p/13782062.html