Hadoop实战项目之网站数据点击流分析(转载分析)


本文转载于csdn博主‘一直不懂’

一,项目业务背景

  https://blog.csdn.net/shenchaohao12321/article/details/82958936

二,整体技术流程及架构

  https://blog.csdn.net/shenchaohao12321/article/details/82959255

三,数据采集

  https://blog.csdn.net/shenchaohao12321/article/details/82959322

四,数据预处理

  https://blog.csdn.net/shenchaohao12321/article/details/82959444

五,数据仓库设计

  https://blog.csdn.net/shenchaohao12321/article/details/82960513

六,ETL

  https://blog.csdn.net/shenchaohao12321/article/details/82961265

七,统计分析

  https://blog.csdn.net/shenchaohao12321/article/details/82975362

八,结果导出

  https://blog.csdn.net/shenchaohao12321/article/details/83020556

九,工作流调度

  https://blog.csdn.net/shenchaohao12321/article/details/83020574

十,数据展示

  https://blog.csdn.net/shenchaohao12321/article/details/83020653

十一,项目代码

  https://blog.csdn.net/shenchaohao12321/article/details/83020719

十二,有关hql语句的注意事项

  count(1)里面的数字表示对第几列的数据进行统计计数。

  group by  分组可以去重。

  having 与group by 一起使用 ,跟where的用处一样。

  row_number() over (partition by clumn_a  order by column_b asc/desc) as rn 

  对表的每行标定行数

  partition by clumn_a相当于表的分组,order by 相当于对表的排序,rn 行数序号的字段。

  concat(字段,字段)  表示将两个字段和为一个字段。

  distinct去重

  cast(......as int) 表示对字段的类型转换为int类型。

  select  '2018-11-11' as date......为每一个查询的行的表结构第一位加上字段名为date数据为'2018-11-11' 的列。

原文地址:https://www.cnblogs.com/songweideboke/p/9868886.html