hadoop综合大作业

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

1、把python爬取的数据传到linux

2、去除数据的标题

3、把数据的逗号代替为  转义字符

4、启动hadoop集群

 

5、把数据文件上传到hdfs

6、启动hive

7、创建数据库

8、创建表并把hdfs的数据导入表中

 9、统计数据一共有1011条

 10、统计出不是同一用户评论的条数

 

11、列出前10名观众分数和时间

12、列出前10名观众的评论

13、统计评论分数大于4分(总5分)的评论条数,大部分是大于4分,说明

《何以为家》的好评率很高。

14、统计出男女人数(1男 2女 3未知)

15、列出各城市的评论数

 16、统计北京的评论数

17、统计上海的评论数 

18、统计广州的评论数

19、统计深圳的评论数

 

原文地址:https://www.cnblogs.com/97lzc/p/11029486.html