主要目的是进行跨pipeline 数据的通信,而不仅仅是内部pipeline 的通信,之间不同网络进行通信
一个参考图
pipeline 类型
- origin
- destination
部署架构
- 使用多个destination 保证可靠性,参考下图
- 如果数据是相似的,可以实现负载均衡以及冗余,参考下图
数据传输的保证
- 至少一次(保证数据可以被处理)
- 之多一次 (避免数据重复)
定义rpc id
id 是用户定义的方便彼此之间可以进行识别的
加密
支持基于tls 的数据加密
配置指南
要创建一组有效的SDC RPC管道,必须遵守某些配置选项。使用以下准则配置SDC RPC管道:
-
origin
在origin管道中,配置以下元素:
在管道属性中,将数据传递模型设置为您要使用的选项。
在管道中,使用SDC RPC目标。
配置SDC RPC目标时,请输入RPC ID和RPC连接信息。
若要使用多个目标管道,请输入要使用的每个SDC RPC源的RPC连接信息。
要使用加密在管道之间传输数据,请启用TLS并配置相关属性。 -
destination
对于每个destination管道,请配置以下元素:
在管道属性中,将数据传递模型设置为与原始管道相同的选项。使用其他选项会导致Data Collector 默认为At Most Once行为。
在管道中,使用SDC RPC origin。
配置SDC RPC orign时,请按如下方式定义属性:
使用SDC RPC destination 中使用的相同RPC ID。
对于RPC侦听端口,请输入相应的端口号。
它应该是SDC RPC destination中的一个RPC连接中指定的端口号。
要使用加密在管道之间传输数据,请启用TLS并配置相关属性。