DataHub使用小结(一)——概述

一、概念

  1.什么是DataHub

    DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能

      在订阅-发布功能中,订阅者订阅自己感兴趣的数据,发布者发布到中间channel,发布-订阅彼此不知道对方的存在

    

    可以轻松构建基于流式数据的分析和应用。

    主要可以进行流处理应用以及流数据归档(归档到maxcomputer)

    参考实践:https://yq.aliyun.com/articles/61766?spm=5176.11065265.1996646101.searchclickresult.60eb1d87Qu3teG&aly_as=oSSLfdDT

  2.基本概念

    Project:项目,一个项目包含多个topic,是DataHub数据组成的基本单位

    Topic:主题,数据分发的基本单位,用来表示一类数据(类似表),相应的有Topic Lifecycle表示topic的生命周期

    Shard:数据传输通道,每个shard都有自己的ID,并且会占用服务端资源,按需使用

    Recode:数据传输的基本单位

原文地址:https://www.cnblogs.com/jiangbei/p/9599639.html