安装Hadoop单机版

目录:

  1、安装Centos7

  2、安装JDK1.7

  3、安装Hadoop2.9.2

 

          该配置过程摘抄于本人讲师,并非原创

1、安装Centos7

Centos7安装过程略,配置静态IP,关闭防火墙。

配置静态IP:

vi /etc/sysconfig/network-scripts/ifcfg-ens3

关闭防火墙:

TYPE=Ethernet
PROXY_METHOD=none
#BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
#IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=c512d18c-000d-4bd8-bb3d-1a7eab3ee246
DEVICE=ens33
#ONBOOT=yes

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.19.16
NETMASK=255.255.255.0
GATEWAY=192.168.19.2
DNS1=8.8.8.8
DNS2=144.144.144.144

ZONE=public
View Code

2、安装JDK1.7 

地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg    提取码3z6s
地址

下载后上传到centos中,然后cp到/usr/local下,然后解压:

tar -zxvf jdk-7u45-linux-x64.tar.gz

然后配置环境变量:

vim /etc/profile

然后在文件末尾加上:
###############################
JAVA_HOME=/usr/local/jdk1.7.0_45
export JAVA_HOME
export PATH=$JAVA_HOME/bin:$PATH
###############################

然后刷新环境变量:source /etc/profile,测试JDK安装成功:java -version,出现版本则成功。

3、安装Hadoop2.9.2

将Hadoop2.9.2下载后,传到linux的/usr/local中去。

地址http://mirrors.hust.edu.cn/apache/hadoop/common/
View Code

解压:  tar -zxvf hadoop-2.9.2.tar.gz

(1):配置hadoop环境变量   vi  /etc/profile   添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$PATH

然后刷新配置:source /etc/profile

完成后命令:hadoop version,出现版本号则成功。

然后切换到配置文件目录:cd /usr/local/hadoop-2.9.2/etc/hadoop/

(2):vim core-site.xml   添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip,端口默认-->
    <value>hdfs://192.168.124.144:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录,端口默认-->
    <value>/usr/local/hadoop-2.9.2/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

(3):vi  hadoop-env.sh   配置成你自己的jdk安装路径

 (4):vi hdfs-site.xml  添加如下内容

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <!--这里是你自己的ip,端口默认-->
        <value>192.168.124.144:50090</value>
    </property>

(5):复制默认的模板配置文件,输入命令:cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

(6):vim mapred-site.xml  添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

(7):配置yarn-site.xml vim yarn-site.xml 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>192.168.124.144</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

(8):配置好之后切换到sbin目录下

/usr/local/hadoop-2.9.2/sbin

(9):格式化hadoop文件格式,执行命令  hadoop namenode -format,注意不用 “./” 

(10): 执行启动命令:./start-all.sh 

注意:启动过程中启动每一个进程都会让你确认或输入密码,可以通过配置ssh来解决,就不需要输入了,暂时配置使用jps查看进程,能看到这些进程证明启动成功了,也可以在浏览器输入localhost:50070看是否出现网页,或者在物理机输入IP地址:50070,出现以下界面:

完成!

          该配置过程摘抄于本人讲师,并非原创

 

 

 

原文地址:https://www.cnblogs.com/daihang2366/p/13208075.html