[云计算&大数据]概念辨析:数据仓库 | 数据湖 | 数据中心 | 数据中台 | 数据平台 【待续】

今日客户对这些个概念不清楚,让我解释解释。
说实在的,虽然对各概念都有印象和理解,但我也不能完完全全地辨析得很清晰。
作为从业者,还是有必要拎清一点。

让一切业务数据化,一切数据业务化。

  • 业务数据化
  • 数据资产化
  • 资产服务化

1 数据仓库

定义

数据仓库(Data Warehouse): 
  1. 由比尔·恩门于1990年提出,可简写为 DW 或 DWH。
  2. 是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建,为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。

主要特点

  • 【面向主题】指数据仓库内的信息是按主题进行组织的,而不是像业务系统那样按照功能组织。
  • 【面向集成】指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程,因此数据仓库中的信息是关于整个企业的一致的全局信息。
  • 【基于历史】数据是基于历史的,指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。
  • 【数据仓库的类别: ROLAP / MOLAP】
MOLAP,数据以多维方式存储以减少存储空间并提高查询效率,代表厂商为微软;
ROLAP,数据以关系数据库方式存储,代表厂商为SAP BO。

存在的问题

  • 数据实时性难以保障
数据实时性问题:由于数据仓库是基于历史数据的,无法满足现代企业管理需求,原来数据仓库基于历史数据设计主要是为了提高查询效率,但是现代的硬件技术与分布式计算早已提供了更好的解决方法。
  • 数据共享问题
数据共享问题:
    数据仓库以主题方式组织数据,比如 财务数据、销售数据、采购数据,就使得在解决数据孤岛的问题上又形成了一棵棵“数据烟囱”,
    各部门在使用数据时,仍然会面临数据不一致问题,
    且数据仓库与业务之间高度耦合,也使得数据仓库维护工作量很大,修改起来工作量巨大,难以跟上管理变革。
  • 数据分析对业务的支撑不足
数据分析对业务的支撑不足: 
  由于数据分析是基于历史数据的分析,而业务是实时的,所以,两者之间存在一定的【时间差】,导致数据分析只能起到对业务的“支撑”作用,而无法起到对业务的“驱动”作用。

2 数据中台 := 数据仓库在大数据时代的延申

由来

数据中台: 某种意义上是一个正宗的中国概念,最早在2015年,阿里巴巴马云访问过北欧的Supercell游戏公司之后,便提出了这个概念。

并不是所有的公司都需要建设数据中台,因为数据中台不仅仅是数据仓库,还包含了一系列配套的平台(元数据、数据安全、数据质量、BI分析等),建设的成本比较高,而对于大多数公司而言,这种经济成本是不划算的。

定义

数据中台: 中台相对于前台和后台而生,是前台、后台的连接点,将业务上共同的数据、工具、模型等予以沉淀与支撑。
数据中台是
  一套可持续“让企业的数据用起来”的机制,
  一种战略选择和组织形式,
  是依据企业特有的业务模式和组织架构,
  通过有形的产品和实施方法论支撑,
  构建一套持续不断把数据变成资产并服务于业务的机制。
数据中台: 整合数据技术、产品技术能力,提供统一的数据和服务,强力支撑前台业务。 
  ---- 网易数帆
数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念
  ---- ThoughtWorks 数据智能总经理,数字化转型专家——史凯

Data API 是数据中台的核心,它是连接前台和后台的桥梁,通过 API 的方式提供数据服务,而不是直接把数据库给前台、让前台开发自行使用数据。
至于产生 Data API 的过程:

  • 怎么样让 DataAPI 产生得更快?
  • 怎么样让 DATA API 更加清晰?
  • 怎么样让 DATA API 的数据质量更好?
    这些是要围绕数据中台去构建的能力。
  • 特点

统一数据标准: 通过数据标准体系建设方法论+数据指标系统,统一数据指标口径,消除数据二义性

统一数据服务: 统一对外数据服务接口,实现所有需求,一个接口

统一数据资产管理: 提供企业级数据资产管理平台,并通过数据地图与数据血缘实现360°数据全链路追踪

统一开发平台: 提供可视化、拖拽式自助开发与分析平台,统一数据开发流程与项目周期管理

数据中台的核心能力

数据中台需要具备【汇集整合】、【数据开发】、【数据管控】、【数据应用】4大核心能力,让企业员工、客户、渠道、伙伴能够方便地管理、应用数据。

汇集整合 := 数据接入 := 数据集成 := 数据融合

提供丰富异构数据源的汇集能力
提供实时数据接入能力
具备可视化任务设计、丰富的监控管理能力
提供海量数据的接入能力

数据开发

提供海量数据的【数据处理】能力
具备【多种数据类型】处理能力
提供多引擎业务【流程编排】能力
提供强大的【任务调度】能力
具备统一的【数据开发语言】

数据管控

具备【数据资源业务定义】能力
提供【数据标准】线上管控能力
提供【数据质量】体系监控能力
提供【数据资源分级分类】能力

数据应用

为业务中台赋能
提供便捷的【数据服务】API
提供【数据安全】访问控制
提供数据画像的业务能力

3 数据中台 VS 数据平台 VS 数据仓库

数据仓库 VS 数据中台

--------- 数据仓库 数据中台
数据来源 传统数仓的数据来源主要是业务数据库,数据格式也是结构化数据为主 数据湖的概念,汇集企业全域数据,主要包括业务数据库、日志数据、物理网数据、爬虫数据、外部数据等。
建设目标 传统数仓主要用来做BI的报表,需求较单一,平台仅抽取和清晰该相关分析报表用到基础数据。 融合整改企业的全部数据,打通数据之间的隔阂,消除数据标准和口径不一致的问题。
数据应用 主要提供报表,构建领导驾驶舱、业务驾驶舱、管理驾驶舱等应用。 不仅面向BI报表,更多面向营销推荐、用户画像、AI决策分析、风险评估等。
数据组织 数据仓库更多的是 数据管理部门或技术部门主要参与,业务部门参与度低。 需从企业素质架构层面进行调整。构建面向业务部门赋能的数据组织架构。

数据仓库 VS 数据平台 VS 数据中台

X 参考文献

Y 附件

赞赏-支付宝二维码
本文作者千千寰宇
本文链接 https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
声援博主:若本文对您有帮助,可点击右下角推荐一下。您的鼓励、【赞赏】(左侧赞赏支付码)是博主技术写作的重要动力!
原文地址:https://www.cnblogs.com/johnnyzen/p/14808331.html