实时-1.0 分析需求| 整体架构

1. 需求分析

离线T+1 需求

     一般是根据前一日的数据生成报表等数据,虽然统计指标、报表繁多,但是对时效性不敏感。
实时T+0 需求

    主要侧重于对当日数据的实时监控,通常业务逻辑相对离线需求简单一下,统计指标也少一些,但是更注重数据的时效性,以及用户的交互性。

即席需求

   临时需求,可用即席查询如Impala、Presto、 Kylin、 Druid等

关于日志埋点 发送的两种策略:

  ① 周期性发送,把一段时间的日志,积攒起来,周期性的发送到后台;对日志后台收集系统压力小;非实时

  ② 直接发送,时效性非常好,后台收集压力大;

1.1 实时需求:

比如:

 1、当日活跃用户及分时趋势图,昨日对比图

   日志服务器 --- Kafka --- Spark --- Hbase

2、当日新增用户及分时趋势图,昨日对比图

3、当日交易额及分时趋势图,昨日对比图

      业务服务器 --Mysql ---Canal ---Kafka --- Hbase   

4、当日订单数及分时趋势图,昨日对比图

5、购物券功能风险预警

     日志服务器 -- Kafka --- Spark --- ES

6、用户购买明细灵活分析功能

    业务服务器 -- Mysql -- Canal --- Kafka -- ES

 2. 统计架构图:

   2.1 实时架构:

  2.2 离线架构:

原文地址:https://www.cnblogs.com/shengyang17/p/10853732.html