flume1.8 Channel类型介绍(四)

1. Flume Channel

Channels是events在agent上进行的存储库。Source添加events,Sink移除events。

1.1 Memory Channel(内存Channels)

events存储在配置最大大小的内存队列中。对于流量较高和由于agent故障而准备丢失数据的流程来说,这是一个理想的选择。

agent a1示例:

1.2 JDBC Channel

events存储在持久化存储库中(其背后是一个数据库)。JDBC channel目前支持嵌入式Derby。这是一个持续的channel,对于可恢复性非常重要的流程来说是理想的选择。

agent a1示例:

1.3 Kafka Channel

events存储在Kafka集群中。Kafka提供高可用性和高可靠性,所以当agent或者kafka broker 崩溃时,events能马上被其他sinks可用。

Kafka channel可以被多个场景使用:

  1. Flume source和sink - 它为events提供可靠和高可用的channel
  2. Flume source和interceptor,但是没sink - 它允许写Flume evnets到Kafka topic
  3. Flume sink,但是没source - 这是一种低延迟,容错的方式从Kafka发送events到Flume sinks 例如 HDFS, HBase或者Solr

agent a1示例:

Security and Kafka Channel:

省略...

TLS and Kafka Channel:

省略...

Kerberos and Kafka Channel:

省略...

上述详情可以查看官网:

http://flume.apache.org/FlumeUserGuide.html#kafka-channel

或者flume1.8 使用指南学习感悟(一)、flume1.8 使用指南学习感悟(二)关于Kafka部分

http://www.cnblogs.com/swordfall/p/8095213.html  4.6.8 Kafka Source

http://www.cnblogs.com/swordfall/p/8157766.html  1.11 Kafka Sink

 1.4 File Channel

agent a1示例:

1.5 Spillable Memory Channel

events存储在内存队列和磁盘中。该channel目前正在试验中,不要求在生产环境中使用。

agent a1示例:

让内存channel队列使用失效,功能类似file channel:

让磁盘溢出使用失效,功能类似in-memory channel:

1.6 Pseudo Transaction Channel

注意:Pseudo Transaction Channel只用于单元测试,不用于生产环境使用。

1.7 Custom Channel

自定义channel是你实现Channel接口。当Flume agent启动时,一个自定义channel类和它依赖项必须包含在agent的classpath。

agent a1的示例:

2. Flume Channel Selectors

如果类型没有指定,那么默认“replicating”。

2.1 Replicating Channel Selector(default) (复制channel选择器)

 

agent a1和它的source 为 r1:

在上面的配置中,c3是一个可选性的channel。写event到c3出错将会被忽略。因为c1和c2没有标记为可选,写到这些channels失败将会导致事务提交失败。

2.2 Multiplexing Channel Selector (多路复用Channel选择器)

agent a1和它的source为r1:

2.3 Custom Channel Selector (自定义Channel选择器)

 一个自定义channel选择器(selector)是实现ChannelSelector的接口。当Flume agent启动时,一个自定义channel  selector类和它依赖项必须包含在agent的classpath。

 

agent a1和它的source为r1:

 参考资料:

https://flume.apache.org/FlumeUserGuide.html

原文地址:https://www.cnblogs.com/swordfall/p/8169554.html