大数据hadoop环境搭建伪分布式模式

伪分布式模式的配置是按照完全分布式模式来搭建的,但是他只有一台服务器,适合用于学习。

下面的文件配置都是尚硅谷课程中做的笔记:

配置集群:

需要配置文件:

第一个文件:

 

 第二个文件:

 第三个文件:

 默认的副本数是3,

接下来就要启动集群,

第一步:格式化namenode(只有第一次需要格式化,格式化就是把集群上的数据全部清空)

bin/hdfs namenode -format

第二部 :启动NameNode

sbin/hadoop-daemon.sh start namenode

 查看是否启动成功

第三步:启动DataNode

sbin/hadoop-daemon.sh start datanode

 检查是否可以工作了,通过 netstat -ntlp 命令查看端口号:

 在windows的浏览器中输入网址:hadoop1:9870

 如果这个网址出不来,可以检查防火墙是否关闭,检查windows和虚拟机是否相互可以ping通。

在伪分布式模式下,创建文件:

bin/hdfs dfs -mkdir -p /uesr/atguigu/input

 在这个网站里就可以看到刚刚创建的内容。

 现在这里就相当于本地文件,要把本地文件wcinput上传到hdfs,

bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input

 接下来在hdfs上运行一个wordcount

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /user/atguigu/input /user/atguigu/output

 

原文地址:https://www.cnblogs.com/zhaoxinhui/p/15484698.html