StreamSets SDC RPC Pipelines说明

主要目的是进行跨pipeline 数据的通信,而不仅仅是内部pipeline 的通信,之间不同网络进行通信

一个参考图

pipeline 类型

  • origin
  • destination

部署架构

  • 使用多个destination 保证可靠性,参考下图
  • 如果数据是相似的,可以实现负载均衡以及冗余,参考下图

数据传输的保证

  • 至少一次(保证数据可以被处理)
  • 之多一次 (避免数据重复)

定义rpc id

id 是用户定义的方便彼此之间可以进行识别的

加密

支持基于tls 的数据加密

配置指南

要创建一组有效的SDC RPC管道,必须遵守某些配置选项。使用以下准则配置SDC RPC管道:

  • origin
    在origin管道中,配置以下元素:
    在管道属性中,将数据传递模型设置为您要使用的选项。
    在管道中,使用SDC RPC目标。
    配置SDC RPC目标时,请输入RPC ID和RPC连接信息。
    若要使用多个目标管道,请输入要使用的每个SDC RPC源的RPC连接信息。
    要使用加密在管道之间传输数据,请启用TLS并配置相关属性。

  • destination
    对于每个destination管道,请配置以下元素:
    在管道属性中,将数据传递模型设置为与原始管道相同的选项。使用其他选项会导致Data Collector 默认为At Most Once行为。
    在管道中,使用SDC RPC origin。
    配置SDC RPC orign时,请按如下方式定义属性:
    使用SDC RPC destination 中使用的相同RPC ID。
    对于RPC侦听端口,请输入相应的端口号。
    它应该是SDC RPC destination中的一个RPC连接中指定的端口号。
    要使用加密在管道之间传输数据,请启用TLS并配置相关属性。

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/RPC_Pipelines/SDC_RPCpipelines_title.html#concept_wr1_ktz_bt

原文地址:https://www.cnblogs.com/rongfengliang/p/9516113.html