Hadoop学习2—伪分布式环境搭建

一、准备虚拟环境

　　1. 虚拟环境网络设置

A、安装VMware软件并安装linux环境，本人安装的是CentOS

B、安装好虚拟机后，打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性。设置IPv4，设置如下：

C、在创建好的虚拟机上点击网络设置，选择自定义并设置成“VMnet8(NAT)”如下图所示：

D、修改VMware软件网络设置，设置方式如下所示：

　　2. 修改主机名

命令：vi /etc/sysconfig/network

将内容修改为

　　NETWORKING=yes
　　HOSTNAME=hadoop1-2#hostname为主机名，可根据情况修改

　　3. 修改IP地址

　　　　修改配置文件：

　　　　vi /etc/sysconfig/network-scripts/ifcfg-eth0

　　　　修改其中

　　　　IPADDR=192.168.2.110（具体IP地址根据情况修改）

　　4.防火墙

　　　　将防火墙关闭或者将需要对外的端口加到防火墙中，常用的防火墙命令：

　　　　#查看防火墙状态
　　　　service iptables status
　　　　#关闭防火墙
　　　　service iptables stop
　　　　#查看防火墙开机启动状态
　　　　chkconfig iptables --list
　　　　#关闭防火墙开机启动
　　　　chkconfig iptables off

　　　　设置完成后需要重启linux，命令：reboot

　　5.linux设置无密钥登录

　　　　之前对无密钥登录专门做过讲解，有兴趣的同学可以参考：Linux配置SSH免登陆

二、安装JDK

　　1.上传jdk软件包并解压

　　　　创建文件夹:mkdir /home/hadoop/app

　　　　解压:tar xf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

　　2.将java添加到环境变量中

　　vim /etc/profile
　　#在文件最后添加
　　export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
　　export PATH=$PATH:$JAVA_HOME/bin

　　3.刷新环境变量配置

　　source /etc/profile

三、安装hadoop2.4.1

　　1、上传安装包并解压

　　　　上传hadoop的安装包到服务器上去/home/hadoop/并解压，

　　　　解压命令：tar xf hadoop-2.4.1.tar.gz -C /home/hadoop/app/

　　2、配置hadoop配置文件，伪分布式需要修改5个配置文件

A、hadoop-env.sh，修改JAVA_HOME路径

　　vim hadoop-env.sh
　　export JAVA_HOME=/usr/java/jdk1.7.0_65

B、core-site.xml

<!-- 指定HADOOP所使用的文件系统URI，NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.2.170:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

C、hdfs-site.xml

<configuration>
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

D、mapred-site.xml

　　　　hadoop安装路径中配置文件叫mapred-site.xml.template，需要将其修改成mapred-site.xml。

修改文件名命令：

mv mapred-site.xml.template mapred-site.xml

　　　　将配置文件内容修改如下：

<configuration>
<!-- 指定mr框架为yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

E、yarn-site.xml

<configuration>
    <!-- 指定YARN的ResourceManager地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.2.170</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
</configuration>

　　3、将hadoop添加到环境变量

　　vim /etc/proflie
　　export JAVA_HOME=/usr/java/jdk1.7.0_65
　　export HADOOP_HOME=/itcast/hadoop-2.4.1
　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　　　修改完成之后刷新环境变量配置文件：source /etc/profile

　　4、初始化namenode

　　　　初始化命令：

　　hdfs namenode -format

　　5、启动hadoop

　　#先启动HDFS
　　start-dfs.sh
　　#再启动YARN
　　start-yarn.sh

　　6、验证是否启动成功

　　　　a、使用jps命令验证

　　5983 Jps
　　2833 NameNode
　　3226 ResourceManager
　　2949 DataNode
　　3323 NodeManager
　　3094 SecondaryNameNode

　　　　b、登陆管理

　　　　　　HDFS管理界面：http://192.168.2.170:50070

　　　　　　MR管理界面：http://192.168.2.170:8088

　　　　c、简单hadoop命令测试

　　[hadoop@hadoop1-8 hadoop]$ hadoop fs -mkdir /test
　　[hadoop@hadoop1-8 hadoop]$ hadoop fs -ls /
　　Found 1 items
　　drwxr-xr-x   - hadoop supergroup          0 2017-04-25 05:52 /test