大数据应用期末总评

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

Hadoop综合大作业 要求:

1.将爬虫大作业产生的csv文件上传到HDFS

查看HDFS上两个文件内容

 

 

2.对CSV文件进行预处理生成无标题文本文件

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

 

 

4.在Hive中查看并分析数据

5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

(1)查询不重复id的评论数

(2)查询评论用户总人数

 

(3)性别为‘女’的评论数如下

 

(4)性别为‘保密’的评论数如下

 

 (5)性别为‘男‘的评论数如下

(6)根据用户的评论时间进行筛选,对时间进行分组统计,得出评论数最多的时间

 (7)查询不重复昵称的评论数

(8)查询评论次数最多的20个用户

(9)查询各个评分等级的数量

 

(10)查询表2前十条数据

 

原文地址:https://www.cnblogs.com/lianglin918/p/11056319.html