051 日志案例分析(PV,UV),以及动态分区

1.实现的流程

  需求分析

    时间:日,时段

    分区表:两级

    PV

    UV

  数据清洗

    2015-08-28 18:19:10

    字段:id,url,guid,tracktime

  数据分析

  导出

2.新建源数据库

  

3.新建表

  

4.加载原始数据

  

5.查看部分结果

  

6.建立清洗数据表(方便下面的分区表的建立)

  

  

7.为清洗表加载数据

  

8.展示部分清洗过后的数据

  

9.建立分区表

  

10.加载数据

  

11.展示部分结果

  

二:动态分区表的建立

12.动态分区的配置修改 

  <property>
    <name>hive.exec.dynamic.partition</name>
    <value>true</value>      ---》》默认是true,不需要再修改
    <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
  </property>

  <property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
  </property>

  

13.新建分区表

  

14.加载数据

  

15.查看部分结果

  

三:数据分析,实现需求

16.实现需求

  

17.把结果存入result中

  

17.导出数据进入mysql

  1.新建表

  

  2.整体输出结果

  

  3.查看结果(mysql中)

  

  

  

原文地址:https://www.cnblogs.com/juncaoit/p/6051439.html