Hadoop伪云计算平台搭建

环境:Centos7,jdk1.8 ,Hadoop2.7

  1、网络设置

 (1[root@master ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens32

          把这一行 ONBOOT=no,设置成: ONBOOT=yes(意思是,设置成开机就启动网络)

    2[root@master ~]#systemctl  restart  network

    3)在终端输入如下命令:ping 物理主机ip,检查网络是否畅通

   2、上传并安装jdk文件    

[root@master ~]#mkdir  /home/ab
[root@master ~]# cd /home/ab
[root@master ab]#mkdir  hjw

jdk-8u172-linux-x64.tar.gzhadoop-2.7.2.tar.gz文件上传到 /home/ab/hjw路径下边

[root@master ~]#mkdir  /opt/Java
[root@master ~]#cd  /opt/Java
[root@master Java] tar  xvf  /home/ab/hjw/jdk-8u172-linux-x64.tar.gz

备注:解压路径随意

 

 3JDK环境变量设置

    [root@master ~]# cp  ~/.bashrc  ~/.bashrc.original

    [root@master ~]# vi  ~/.bashrc(内容如下:)

export  JAVA_HOME=/opt/Java/jdk1.8.0_172
export  PATH=$PATH:$JAVA_HOME/bin

使配置生效

[root@master ~]#source  ~/.bashrc

[root@master ~]#echo  $JAVA_HOME
###查看JAVA环境变量

 

4. Hostname and Security Settings

  1hostname

           先备份要修改的文件:      

 [root@master ~]# cp  /etc/hostname  /etc/hostname.original

修改域名解析文件:

[root@master ~]#vi  /etc/hostname

内容修改成:master

[root@master ~]# source  /etc/hostname(使修改生效)

 

    (2) hosts

          设置 hosts 文件:

[root@master ~]# vim  /etc/hosts

最后一行添加:127.0.0.1   master

[root@master ~]# source  /etc/hosts(使修改生效)

测试一下是否设置成功:

[root@master ~]# ping  master

 

    (3)  Firewall

查看防火墙的运行状态:

 [root@master ~]# firewall-cmd  --state

停止防火墙服务:

 [root@master ~]# systemctl  stop  firewalld.service

备注:但是关闭防火墙只能是临时的, 重启之后, 防火墙依然可能启动。

所以需要把关闭指令写到 /etc/profile 里:

[root@master ~]# vim  /etc/profile

在文件最后一行添加,以后在保存退出。

systemctl  stop  firewalld.service

 

   5hadoop文件安装与配置

      1hadoop文件安装 

[root@master ~]#mkdir  /opt/Hadoop
[root@master ~]#cd  /opt/Hadoop
[root@master Hadoop]#tar  xvf  /home/ab/hjw/hadoop-2.7.2.tar.gz
[root@master Hadoop]#cd  /opt/Hadoop/hadoop-2.7.2/etc/hadoop/
[root@master hadoop]#cp  mapred-site.xml.template mapred-site.xml

       2core-site.xml配置

[root@master hadoop]#vim  core-site.xml

 在 <configuration> 之间添加如下内容:

<property>

    <name>fs.default.name</name>

    <value>hdfs://master:9000/</value>

</property>

<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

     3hdfs-site.xml配置

 [root@master hadoop]# vim  hdfs-site.xml

 在 <configuration> 之间添加如下内容:

<property>

    <name>dfs.data.dir</name>

    <value>/home/ab/BigData/Hadoop/dfs/data</value>

    <final>true</final>

</property>

<property>

    <name>dfs.name.dir</name>

    <value>/home/ab/BigData/Hadoop/dfs/name</value>

    <final>true</final>

    </property>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.secondary.http.address</name>

    <value>master:50090</value>

</property>

    4mapred-site.xml

 [root@master hadoop]#vi  mapred-site.xml

  <configuration> 之间添加如下内容:

          <property>

              <name>mapred.job.tracker</name>

              <value>master:9001</value>

          </property>

          <property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

          </property>

          <property>

              <name>mapreduce.jobhistory.address</name>

              <value>master:10020</value>

              <description>MapReduce JobHistory Server IPC host:port</description>

          </property>

   5yarn-site.xml

[root@master hadoop]#cp  yarn-site.xml  yarn-site.xml.original
[root@master hadoop] #vi  yarn-site.xml

<configuration> 之间添加如下内容:

         <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

          </property>

          <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>master</value>

              <description>The hostname of the RM.</description>

          </property>

          <property>

              <name>yarn.log-aggregation-enable</name>

              <value>true</value>

          </property>

   (6)添加一个 masters 文件

[root@master hadoop]#vim  masters

内容为:master

 

6Format hadoop    格式化数据文件 hdfs-site.xml 里面设置的目录。

[root@master hadoop]#cd  /opt/Hadoop/hadoop-2.7.2/bin
[root@master bin]# ./hadoop  namenode  -format

 

7Start hadoop

[root@master hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/sbin
[root@master sbin]#./start-all.sh
(默认必须以 root 启动,中间输入 4次 yes)

8Test Success

[root@master sbin]#jps

          等待启动完毕,在本窗口里,查看 java 的进程:检查,必须有 namenodedatanode,否则就得去找问题。

9Stop hadoop

[root@master hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/sbin
[root@master sbin]#./stop-all.sh     

 

原文地址:https://www.cnblogs.com/mke2fs/p/12383202.html