Hadoop伪分布式教程

hadoop所有的配置文件都是在 etc/hadoop下

步骤一启动HDFS并运行MapReduce

(1)配置集群

第一步:在hadoop下修改core-site.xml文件

　　　　 vim etc/hadoop/core-site.xml

<configuration>

<!-- 指定HDFS中Name Node的地址-->

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的储存目录-->
<property>
<name>dfs.replication</name>
<value>/opt/module/hadoop-2.7.2/data/tem</value>
</property>

</configuration>

第二步:修改hadoop-evn.sh的java_home路径

　　echo $JAVA_HOME

　　输出结果为 /opt/software/javajdk

　　复制

　　vim hadoop-evn.sh

　　　修改　export JAVA_HOME=/opt/software/javajdk

　　　　保存退出

第三步:在hadoop下配置副本集(配置后本地运行环境就不行了)

　　vim hdfs-site.xml

<configuration>
<name>dfs.replication</name>
<value>1</value>
</configuration>

保存退出

 

(2)启动集群

第一步:格式化Name Node(第一次启动时格式化,以后就不要总格式化解决方法如下图)

　　　　bin/hdfs namenode -format     　　进入bin目录下hdfs文件下的namenode -format命令

第二步:启动Name Node

　　　　sbin/hadoop-daemon.sh  start  namenode

　　　　(启动后使用  jps 命令查看进程 必须安装jdk才能使用)

第三步:启动DATa Node

sbin/hadoop-daemon.sh start datanode

(启动后使用  jps 命令查看进程 必须安装jdk才能使用)

启动后可通过http://192.168.1.101:50070/  查看ip地址为你的ip地址(外界主机访问需要关闭防火墙)

(3)查看集群 

　　jps

 步骤二,启动YARN并运行MapReduce

　　(1)配置集权

　　第一步:配置yarn-env.sh

　　cd etc/hadoop/

　　vim yarn-env.sh

　　把JAVA_HOME注释打开并修改为JAVA_HOME路径(不知道的可以使用 echo JAVA_HOME查询)

　　export JAVA_HOME=/opt/software/javajdk

　　第二步:配置yarn-site.xml

　　vim yarn-site.xml

　　　<configuration>

　　　　<!--Reducer 获取数据的方式-->

<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
</property>
<property>

<!--指定yarn的ResourceManager的地址-->
　　<name>yarn.resourcemanager.hostname</name>
　　<value>hadoop1</value>
</property>

</configuration>

　　第三步:配置mapred-env.sh

　　vim mapred-env.sh

　　把JAVA_HOME注释打开并修改为JAVA_HOME路径(不知道的可以使用 echo JAVA_HOME查询)

　　export JAVA_HOME=/opt/software/javajdk

　　第四步:配置(对mapred-site.xml.template重命令为)mapred-site.xml

　　　　mv mapred-site.xml.template mapred-site.xml

　　　　vim mapred-site.xml 

　　<property>

　　　　<!--指定MR运行在YARN上-->

　　　　<name>mapreduce.framework.name</name>

　　　　<value>yarn</value>

　　</property>

 (2)启动集群

　　第一步:启动前必须保证NameNode和DataNode已经启动

　　第二步:启动ResourceManager

　　 在Hadoop根目录下  sbin/yarn-daemon.sh start resourcemanager

　　第三步:启动NodeManager sbin/yarn-daemon.sh start nodemanager

(3)集群操作

　　第一步:yarn的浏览器页面查看显示页面如下

　　http://hadoop1:8088/cluster

步骤三:配置历史服务器

步骤四:配置日志的聚集