数仓分层的理解

------------恢复内容开始------------

一、各个层作用

ODS:直接加载的是采集到的原始数据,数据保存原貌不做处理,就一个字段(一行就是一个日志字符串),使用天作为分区表,一般为json数据

DWD:对ods的数据进行展开

例如:如果采集的日志分类型的,可以根据事件的类型分为多个表

电商的比如:点赞、启动、评论、点击、广告、消息通知等事件

my公司的:以行业类型分割为各个阵地表,对json数据进行解析,获取简历、滴滴行程单、邮件落款、http等数据

DWS: (数据服务层): 基于ADS需要统计的主题,创建宽表
ADS: (应用数据层): 基于DWS的宽表,计算出结果

二、命名规范

ODS层命名为ods

DWD层命名为dwd

DWS层命名为dws

ADS层命名为ads

临时表数据库命名为xxx_tmp

备份数据数据库命名为xxx_bak

三、数据集市是数据仓库的子集

数据集市面向企业级,数据集市面向部门(比如销售部,相对更少的主题和分层)

------------恢复内容结束------------

原文地址:https://www.cnblogs.com/hejunhong/p/13374954.html