centos7安装hadoop2.7.7

下载hadoop-2.7.7 网址如下

https://www-eu.apache.org/dist/hadoop/core/

移动到/opt 路径下

在/opt下新建一个文件夹，名为app mkdir app

将/opt 下的hadoop-2.7.7.tar.gz 解压到/opt/app 下

tar -xzvf hadoop-2.7.7.tar.gz -C /opt/app

修改环境变量 vi /etc/profile

export HADOOP_HOME=/usr/app/hadoop-2.7.7
export PATH =$HADOOP_HOME/bin:$PATH

刷新环境变量 source /etc/profile

查看hadoop版本信息 hadoop version

配置hadoop-env.sh文件，修改JAVA_HOME,修改成jdk的安装路径 位置 cd /usr/app/hadoop-2.7.7/etc/hadoop

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_231

修改 core-site.xml vi core-site.xml 添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip，端口默认-->
    <value>hdfs://49.235.89.98:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
    <value>/opt/app/hadoop-2.7.7/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

修改 hdfs-site.xml vi hdfs-site.xml 添加如下配置

   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>
        <!--这里是你自己的ip，端口默认-->
        <value>49.235.89.98:50090</value>
    </property>

复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

修改 mapred-site.xml vi mapred-site.xml 添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

修改 yarn-site.xml vi yarn-site.xml 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>49.235.89.98</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

格式化hadoop文件格式 切换到目录 cd /opt/app/hadoop-2.7.7/sbin

hadoop namenode -format

运行测试： ./start-all.sh