Windows Hadoop安装

由于hadoop版本2.7.1对其他相关工具兼容较好，本文以此版本为例。

一、下载解压

各镜像站现已没有这个版本，所以去Apache官网下载

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压遇到问题

解决办法：转到WinRAR安装目录，右键主程序，以管理员身份打开，解压。

二、修改配置文件

配置文件目录：${HADOOP_HOME}/etc/hadoop/

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:///G:/Hadoop/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:///G:/Hadoop/dfs/datanode</value>  
    </property>
</configuration>

复制mapred-site.xml.template并改名mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

三、设置环境变量

HADOOP_HOME=安装目录

HADOOP_CONF_DIR=%HADOOP_HOME%/etc/hadoop

YARN_CONF_DIR=%HADOOP_CONF_DIR%

PATH前面添加%HADOOP_HOME%/bin;

四、下载winutils

下载地址：https://github.com/steveloughran/winutils

然后把对应版本目录winutils.exe和hadoop.dll文件复制到hadoop的bin目录下，将其中的hadoop.dll在C:/Windows/System32下也放一份。

五、运行Hadoop

打开cmd，bin目录执行‘hdfs namenode -format’,执行没有报错，说明成功。

然后进入sbin目录，双击start-all.cmd。

六、GUI

Resourcemanager GUI 地址 – http://localhost:8088

Namenode GUI 地址 – http://localhost:50070

Browsing HDFS 地址 – http://localhost:50070/explorer.html