离线电商数仓(十八)之电商数据仓库系统(一)数仓分层

1 为什么要分层

2 数据集市与数据仓库概念

3 数仓命名规范

3.1 表命名

  • ODS层命名为ods_表名
  • DWD层命名为dwd_dim/fact_表名
  • DWS层命名为dws_表名  
  • DWT层命名为dwt_表名
  • ADS层命名为ads_表名
  • 临时表命名为xxx_tmp
  • 用户行为表,以log为后缀。
  • 数据源_to_目标_db/log.sh
  • 用户行为脚本以log为后缀;业务数据脚本以db为后缀。
  • 数量类型为bigint
  • 金额类型为decimal(16, 2),表示:16位有效数字,其中小数部分2
  • 字符串(名字,描述信息等)类型为string
  • 主键外键类型为string
  • 时间戳类型为bigint

3.2 脚本命名

  • 数据源_to_目标_db/log.sh
  • 用户行为脚本以log为后缀;业务数据脚本以db为后缀。

3.3 表字段类型

  • 数量类型为bigint
  • 金额类型为decimal(16, 2),表示:16位有效数字,其中小数部分2
  • 字符串(名字,描述信息等)类型为string
  • 主键外键类型为string
  • 时间戳类型为bigint

本文来自博客园,作者:秋华,转载请注明原文链接:https://www.cnblogs.com/qiu-hua/p/14118290.html

原文地址:https://www.cnblogs.com/qiu-hua/p/14118290.html