[原创]Hadoop Pig 数据处理作业

原题:有一访问记录的日志文件access_log.txt,统计每个IP的访问次数。access_log.txt内容如下所示:

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

解答:

1access_log.txt导入HDFS

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

 

2.利用Hadoop Stream 处理access_log.txt,只取记录第一列即IP地址,保存到文件access_ip.txt之中

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

3. 进入Pig,加载文件access_ip.txt

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

4. 将记录按照IP分组

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

5. 计算每个IP访问次数

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

按照访问次数降序排列

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

保存结果

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

6.显示结果

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

[原创]Hadoop <wbr>Pig <wbr>数据处理作业

 其余结果省略 

 


原文地址:https://www.cnblogs.com/leeeee/p/7276666.html