实时数据压测二 pei

flink实时数据处理:

ReadFromJDQ3

1)消费JDQ的必要信息,通过参数传入,有6个参数
2)获取flink JDQ3的鉴权客户端
3)根据鉴权客户端获取消费属性的配置
4)构建应用环境ENV和checkpoint机制
5)构建JDQ3(基于kafka)对应的消费客户端,flink用来消费实时订单消息
6) 根据自己的业务构建计算DAG
7)打印Stream流打印到标准输出,触发job执行
 
WriteToJDQ3
1) 生产JDQ的必要信息,通过参数传入,有5个参数
2)获取Flink JDQ3的鉴权客户端
3)根据鉴权客户端获取生产属性配置(已设置必要连接信息)
4)构建应用环境ENV和checkpoint机制
5)构建JDQ3(基于kafka)对应的生产客户端,flink用于生产数据
6)根据自己的业务构建计算DAG

7)写数据到JDQ3,触发job执行

消费JDQ2.0,然后将数据写入ES1.x
用flink计算实时特征,然后写入ES
原文地址:https://www.cnblogs.com/pcy226/p/15702302.html