Hadoop的wordcount代码实现

1.打开hadoop的目录,接下来都是在下面目录下操作

cd /usr/local/hadoop/hadoop-2.5.2   //hadoop安装目录

2.启动hadoop

./sbin/start-all.sh

3.hadoop文件暂存目录

/home/amelie/Hadoop_file

4.将以上目录的文件存入hdfs下

hadoop fs -mkdir /data/input  //在hdfs中创建文件夹
hadoop fs -put /home/amelie/Hadoop_file/XXX.txt /data/input   //将以上文件夹中XXX.txt放到hdfs中的/data/input

5.查看hdfs存入在/data/input下的文件数目及名称

hadoop fs -ls /data/input

6.查看文件内容

hadoop fs -cat /data/input/XXX.txt

7.hadoop自带wordcount的地址(hadoop根目录下)

./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar

8.执行.jar文件 输出在/data/output1(新的文件夹)

hadoop jar /usr/local/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /data/input /data/output1

总结起来就是hadoop jar [xxx.jar] class-name [input] [output]

9.查看输出结果的目录,结果输出两个_SUCCESS和part-r-00000

hadoop fs -ls /data/output1

10.查看输出结果

hadoop fs -cat /data/output1/part--r-00000

 本文参考的例子

原文地址:https://www.cnblogs.com/amelie-tingting/p/6393971.html