[原创] hadoop学习笔记:wordcout程序实践

看了官网上的示例:但是给的不是很清楚,这里依托官网给出的示例,加上自己的实践,解析worcount程序的操作

1.首先你的确定你的集群正确安装,并且启动你的集群,应为这个是hadoop2.6.0,所以你的启动以下的守护进程:

$sbin/  ./start-dfs.sh 

$sbin/  ./start-yarn.sh

$sbin/   mr-jobhistory-daemon.sh start historyserver 

2.在lccal系统上创建两个文件,记住是文件,命名:file01,file02

笔者在/opt/localdata 下创建的file01,file02,内容如下

3.将本地的file01,file02上传至hdfs文件系统,利用命令

首先在hdfs文件系统上创建目录:输入目录 /library/wordcount/input/  输出目录 /library/wordcount/output/

  创建输入目录:$bin/  hdfs dfs  -mkdir  -P  /library/wordcount/input/

     创建输出目录:$bin/  hdfs dfs  -mkdir  -P  /library/wordcount/output/

将本地的文件copy到hdfs文件系统

     $bin/ hdfs dfs -copyFromLocal  /opt/localdata/file01     /library/wordcount/input/

     $bin/ hdfs dfs -copyFromLocal  /opt/localdata/file02     /library/wordcount/input/

完成之后可以查看文件是否copy过去

    $bin/ hdfs dfs -ls  /library/wordcount/input/

 

4.可以运行程序了

  进入目录:cd  $HADOOP_HOME/share/hadoop/mapreduce

      运行命令$ hadoop  jar  hadoop-mapreduce-examples-2.6.0.jar   wordcount  /library/wordcount/input/  /library/wordcount/output/rs_wordcount 

运行成功

5.查看运行结果

  ①web查看,首先需要设置web的,可以参考我的另外一篇博客http://www.cnblogs.com/jasonHome/p/5303040.html 自行设置

  在浏览器输入:master:50070   (笔者将namenode的主机设置为master)

 点击utilities ->brows the file system   如下图

  

在hdfs文件系统中查看生成的文件结果文件:搜索  /library/wordcount/output/rs_wordcount  

 

点击part-r-00000,就可以查看了

②可以通过命令行查看:

$ bin/hdfs dfs -cat /library/wordcount/output/part-r-00000

 结果如下

补充:还可以通过 master:8088查看集群的情况, master:19888查看历史提交的任务和记录,如下图

master:8088

master:19888

好了,这就是我想和大家分享的,自己琢磨了 ,5个小时左右,如有问题,希望大家指正。

原文地址:https://www.cnblogs.com/jasonHome/p/5357075.html