运行MapReduce任务

1:运行MapReduce任务

1:原始数据准备

统计用户的登录次数:

源数据login_log.txt如下:

7whygb5m@linshiyouxiang.net

nuahvuhuoia@qq.com

uashkufawuk@163.com

wafwqfqw@gmail.com

iuhukawhfuk@sina.com

wfkwbfkuw@tom.com

iuqwhfuihuqiw@yahoo.com  

hiuwqhuiryquiw545@yahoo.com

uiwqyiuyr7qwrqa@sohu.com

2:应用程序准备

集群目录:

$HADOOP_HOME/share/hadoop/mapreduce/中找到程序包:

hadoop-mapreduce-examples-2.6.4.jar

该程序包提供了一些测试模块:

wordcount   //对输入文件中的单词进行词频统计

pi   //估算圆周率pi的值

wordmean  //计算输入文件中单词的平均长度

3:提交任务指令解析

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar

wordcount  /user/root/login_log.txt  /user/root/output

说明:

wordcount  //指定程序包的主类

/user/root/login_log.txt   //hdfs上需要计算的源文件

/user/root/output   //hdfs上输出文件的目录

4:查看输出结果

在/user/root/output目录下有两个文件:

_SUCCESS  //这是标识文件,表示这个任务执行完成

part-r-00000   //完成任务后产生的结果文件

输出前5行:

hadoop fs -cat /user/root/output/part-r-00000 | head -n 5

5:查看集群的资源管理情况

https://master:18088

查看计算资源的使用情况

查看mapreduce的任务列表

查看具体作业的详细信息

原文地址:https://www.cnblogs.com/hemomo/p/12271518.html