Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

因为python生成的结果为中文,所以我下载了英文长篇小说是《Just A Girl》,下载完更改名字为girl.txt方便操作。

首先启动hadoop:

Hdfs上创建文件夹:

文件上传到hdfs:

 

启动hive:

创建数据库story,在数据库里建原始文档表:

创建数据表story_count,然后进行HQL词频统计,结果放到story_count中:

查看story_count表,不知道为什么成功了显示不出来。

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

统计的是广州番禺职业技术学院校园要闻发布方的统计。如图:

将文件转换为csv格式和txt格式,并将文件放入到虚拟机中:

查看前十条:

将文件上传至hdfs并显示前5条:

启动hive:

创建数据库mywordcount:

 

创建表:

将文件导入表中:

查看前十条:

原文地址:https://www.cnblogs.com/Brilliance-pan/p/9087945.html