Hadoop单节点伪分布式环境部署

Hadoop单节点伪分布环境部署

1、背景知识

2、使用软件及其版本

  • 环境

  • 虚拟机:VirtualBox 6.0.24 r139119

  • Linux:CentOS 7

  • Windows:Windows10

  • 软件

  • JDK:Jdk1.8_131

  • Hadoop:Hadoop-2.6.0-cdh5.7.0

  • 工具

  • IDE工具:IntelliJ IDEA 2018.3.6 (Ultimate Edition)

  • 远程连接工具:XShell6

  • SFTP工具:FileZilla3.33.0

3、目标

  • 伪分布Hadoop环境安装和部署

4、操作步骤

  1. 虚拟机安装CentOS7系统

    1. 新建虚拟机

    1. 分配内存大小

    1. 创建虚拟硬盘

    1. 启动虚拟机，装载CentOS7镜像

    root账号密码:root

    创建新用户hadoop,密码hadoop 

  2. Hadoop伪分布环境搭建

    1. Linux配置

      1. 修改主机名

        1. 一般对不直接使用root用户进行直接操作，而使用安装系统的创建的新用户hadoop(或者使用useradd命令创建)进行后续操作，使用root用户登录后给hadoop用户分配sudo权限：

          vi /etc/sudoers

          添加:

        hadoop ALL=(ALL) ALL

        1. 登录到hadoop用户，修改主机名

          su hadoop

          • 修改主机名(使用root用户权限执行)

          sudo vi /etc/hostname

          • 删除原来的名称，加入主机名"master"

          • 重启显示

      2. 配置静态IP地址

        • 修改Oracle VM虚拟机的网络设置

          设置连接方式为"仅主机(Host-Only)网络"，界面名称选择虚拟网卡的名称。

        • 修改enp0s3文件

          1. 检查windows中的ip地址

            • 在CentOS中使用ip addr命令查看本机ip地址

           + 然后在Windows中使用```ipconfig```命令查看Windows中的虚拟网卡的IP地址

          1. 修改CentOS中的为静态ip地址和Windows中的虚拟网卡在统一网段，使用命令:

            sudo vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

            设置如下内容:

             TYPE=Ethernet
             PROXY_METHOD=none
             BROWSER_ONLY=no
             BOOTPROTO=static
             DEFROUTE=yes
             IPV4_FAILURE_FATAL=no
             IPV6INIT=yes
             IPV6_AUTOCONF=yes
             IPV6_DEFROUTE=yes
             IPV6_FAILURE_FATAL=no
             IPV6_ADDR_GEN_MODE=stable-privacy
             NAME=enp0s3
             UUID=b99405f1-6afb-4d97-94e4-c3893e72700a
             DEVICE=enp0s3
             ONBOOT=yes
             IPADDR=192.168.137.2
             NETMASK=255.255.255.0
             GATEWAY=192.168.137.1

            • 重启网络服务，使用命令:

            systemctl restart network

            • 查看IP地址

            静态IP地址已经生效

      3. 设置映射关系

        • 修改主机的映射关系，使用通过计算机名可以映射到ip地址，使用命令:

        sudo vi /etc/hosts

        追加一行内容:

        192.168.137.2 master

        • 保存退出后，使用ping master看是否可以ping通

      4. 配置SSH无密码连接

        1. 关闭防火墙

          1. 关闭临时防火墙，使用命令:

            systemctl stop firewalld

          2. 静止开机启动防火墙(root用户权限执行，所有节点都需执行),使用如下命令:

            systemctl disable firewalld

            • 查看防火墙状态，使用命令:

            systemctl status firewalld

        2. 启动SSH服务

          • CentOS7已经默认安装了SSH服务，只需要启动服务器即可，通过命令:、

            systemctl start sshd

          • 检查ssh服务状态，使用命令:

            systemctl status sshd

        3. SSH免密操作

          1. 生成公钥,使用命令：

            ssh-keygen -t rsa

            公钥生成的位置：/home/hadoop/.ssh隐藏目录之下,最后的图形是公钥的指纹密码

          2. 公钥拷贝到本机的authorized_keys列表，使用命令:

            ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master

          3. 进行验证,使用命令：

            ssh master

            不需要输入密码，即表示成功！

      5. 远程连接配置

        • Wnidows中使用xshell远程连接工具通过ssh协议连接到CentOS7，使用命令:

        ssh 192.168.137.2

       

       

       

      出现上述界面，表示远程登录成功！

       

      1. JDK配置

        1. 卸载Open JDK

          1. 查看当前系统JDK,使用命令:

            rpm -qa | grep JDK

            如果出现以上信息，表示系统中存在Open JDK

          2. 删除系统JDK(root用户权限执行)，使用命令:

            rpm -e --nodeps ……

            删除所有文件

        2. 下载Oracle JDK

          从JDK官网下载jdk1.8

          http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

        3. 使用ftp工具通过SSH协议连接到CentOS7，上传JDK到CentOS的software目录下

          使用flashfxp工具：

           

          上传文件到software目录下

        4. 安装Oracle JDK(root用户权限执行)

          1. 解压JDK，使用命令:

            tar -zxvf jdk-linux-x64.tar.gz -C ~/app/

          2. 配置环境变量，使用命令:

            sudo vi /etc/profile

            文件末尾，追加jdk的配置:

             export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
             export PATH=$JAVA_HOME/bin:$PATH

            退出编辑器，使用source /etc/profile命令使配置生效

          3. 检查生效，使用命令:

            java -version

    2. Hadoop的安装和部署

      1. 下载CDH版本Hadoop

        下载地址: http://archive.cloudera.com/cdh5/cdh/5/Hadoop-2.6.0-cdh5.7.0.tar.gz

        注意:当前CDH版本已经全面收费，不在提供免费版本下载

      2. 安装CDH版本Hadoop

        1. 上传hadoop安装包到CentOS

        2. 解压CDH压缩文件,使用命令：

          tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/

        3. 进入etc/hadoop的目录，修改配置文件

          1. 修改hadoop-env.sh,使用命令：

            sudo vi hadoop-env.sh

            在文件末尾追加JAVA_HOME和HADOOP_HOME

             export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
             export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

          2. 修改core-site.xml,使用命令:

            sudo vi core-site.xml

            添加配置信息

             <configuration>
                     <property>
                             <name>fs.defaultFS</name>
                             <value>hdfs://master:8020</value>
                     </property>
                     <property>
                             <name>hadoop.tmp.dir</name>
                             <value>/opt/hdfs/tmp</value>
                     </property>
             </configuration>
             

             

            注意:在/opt目录下创建好存放临时文件的hdfs/tmp文件夹,同时分配好权限

             

             

          3. 修改hdfs-site.xml，使用命令:

            sudo vi hdfs-site.xml

            添加配置信息

             <configuration>
                     <property>
                             <name>dfs.replication</name>
                             <value>3</value>
                     </property>
                     <property>
                             <name>dfs.name.dir</name>
                             <value>/opt/hdfs/tmp/dfs/name</value>
                     </property>
                     <property>
                             <name>dfs.data.dir</name>
                             <value>/opt/hdfs/tmp/dfs/data</value>
                     </property>
                     <property>
                             <name>dfs.permissions</name>
                             <value>false</value>
                     </property>
             </configuration>

          4. 修改yarn-site.xml,使用命令:

            sudo vi yarn-site.xml

            添加配置

             <configuration>
             ​
             <!-- Site specific YARN configuration properties -->
                     <property>
                             <name>yarn.nodemanager.aux-services</name>
                             <value>mapreduce_shuffle</value>
                     </property>
             </configuration>

          5. 修改mapred-site.xml

            复制模板,使用命令:

            cp mapred-site.xml.template mapred-site.xml

            编辑配置文件，使用命令:

            sudo vi mapred-site.xml

            添加配置:

             <configuration>
                     <property>
                             <name>mapreduce.framework.name</name>
                             <value>yarn</value>
                     </property>
             </configuration>

          6. 修改slaves文件,使用命令:

            sudo vi slaves

            添加配置

             master

          7. 追加HADOOP_HOME到/etc/profile中,使用命令:

            sudo vi /etc/profile

            在文件末尾追加内容:

             export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
             export PATH=$HADOOP_HOME/bin:$PATH

            退出编辑器，使用source /etc/profile命令使配置生效

        4. 格式化HDFS

          进入hadoop的bin目录，使用命令:

          hadoop namenode -format

          出现上述界面，表示格式化成功!

        5. 启动Hadoop

          进入hadoop的sbin目录下，使用命令

          ./start-all.sh

      3. 检查CDH版本Hadoop

        1. 检查进程,使用命令:

          jps

          出现上述6个进程，表示单节点伪分布hadoop部署成功！

        2. 通过浏览器检查

          也可以在windows中通过浏览器输入http://192.168.137.2:50070

          出现上述浏览器界面，表示单节点伪分布hadoop部署成功！

4、总结

 

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/LEPENGYANG/p/15736122.html