第三周学习总结

假期第三周学习记录

参考教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centoshttps://blog.csdn.net/hliq5399/article/details/78193113

1.安装Hadoop2

下载链接: http://mirror.bit.edu.cn/apache/hadoop/common/ 

我下载的2.7.7版本的

2.执行例子感受一下Hadoop的运行

执行成功如下图

查看结果:

3.Hadoop伪分布式配置

设置Hadoop环境变量

 在最后加上如图所示内容:

 保存后退出,执行如下命令使配置生效:

 修改配置文件 core-site.xml 

更改内容:

 修改配置文件 hdfs-site.xml

 

修改内容:

配置完成后,执行 NameNode 的格式化:

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

接着开启 NaneNode 和 DataNode 守护进程:

出现如下框内内容回答yes

 使用命令jps判断是否成功启动,成功启动出现如下图所示:

 运行Hadoop伪分布式实例

运行结果:

4.启动YARN

 

注意:

不启动 YARN 需重命名 mapred-site.xml

如果不想启动 YARN,务必把配置文件 mapred-site.xml 重命名,改成 mapred-site.xml.template,需要用时改回来就行。否则在该配置文件存在,而未开启 YARN 的情况下,运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误,这也是为何该配置文件初始文件名为 mapred-site.xml.template。

开启yarn,可在http://localhost:8088/cluster,中查看任务运行情况

原文地址:https://www.cnblogs.com/muailiulan/p/11503383.html