二、安装配置java和hadoop程序

  • 清空linux中的java,完成完全卸载

    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
    
    • rpm -qa:查询所安装的所有 rpm 软件包
    • grep -i:忽略大小写
    • xargs -n1:表示每次只传递一个参数
    • rpm -e –nodeps:强制卸载软件
  • 下载java安装包和hadoop安装包

    JDK国内镜像地址:https://repo.huaweicloud.com/java/jdk
    Hadoop:链接:https://pan.baidu.com/s/13mnNZXRK2hxcVts7hTMRAw  提取码:x4fd 
    
  • 解压

    tar -zxvf $dirname1/$filename1 -C $dirname2/$filename2
    -- -C选项的作用是将$dirname1目录下的$filename1文件,定向解压到$dirname2目录下的$filename2文件中
    -- 作者将软件放置在/opt/software下,安装包放置在/opt/softpackage中
    


  • 配置JAVA_HOME和HADOOP_HOME
    -- 进入/etc/profile.d目录创建文件my_env.sh

    cd /etc/profile.d
    touch my_env.sh
    
  • 编辑my_env.sh

    cd /etc/profile.d
    vim my_env.sh
    

    在my_env.sh中添加以下内容

    #HADOOP_HOME
    export HADOOP_HOME=/opt/software/hadoop-3.2.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
    #JAVA_HOME
    export JAVA_HOME=/opt/software/jdk1.8.0_201
    export PATH=$PATH:$JAVA_HOME/bin
    

  • 让配置文件生效

    source /etc/profile
    
  • 测试

  • hadoop目录说明

    • bin目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
    • etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
    • lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
    • sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
    • sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
原文地址:https://www.cnblogs.com/nuochengze/p/14579456.html