从数据仓库到数据湖—浅谈数据架构演进

数据库–>数据仓库–>数据湖的架构演变,反映的是数据需求变更
了解最近技术发展动态,记录一下相关知识点,跟上技术发展的步伐。

  • 上半年参加系统分析师考试,论文部分有个论题 是关于AIOPS的。我在想实际工作中,我们连DEVOPS流程还没做好呢,AIOPS已经在一些大公司实施了。
  • 刚刚过去的周六,参加系统架构设计师考试,论文部分又出现了数据湖的应用实践,数据湖与数据仓库的差异性有哪些?新的概念不断的冒出,基础知识,历史渊源做一个整理记录。

1、数据仓库是什么

“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon

数据仓库和数据库的区别就是OLAP和OLTP的区别。
数据库支持是OLTP,数据仓库支持的是OLAP

数据仓库一般基于数据库实现,数据仓库可以是基于关系数据库实现的称为ROLAP,数据仓库也可以是基于多维数据结构实现的为MOLAP

2、数据建模

数据仓库最为核心的内容分类两部分:

  • 基于关系数据库的多维建模(RDBMS-based dimensional modeling)
    建模方法论-结合RDBMS的范式理论,建模过程中涉及的几个概念:

雪花模型

星型模型

全量数据、增量数据

  • 解决数据存储的拉链设计模式
  • 基于数据立方体的OLAP查询(cube-based OLAP)

3、传统数据仓库及代表产品

4、大数据架构下的数据仓库

lamda架构

kappa架构

5、数据湖是什么?

6、数据湖、数据仓库有何区别

7、数据湖应用场景有哪些

8、参考材料

从数据仓库到数据湖——浅谈数据架构演进

martin-flower-about-Datalake

数据仓库的架构与设计

etl-开发过程介绍

原文地址:https://www.cnblogs.com/coding-now/p/14660568.html