Flume

Flume官网:http://flume.apache.org/ 

 

Flume和Kafaka使用上的区别:

  采集的数据放到HDFS为MR进行使用,选择Flume

 

 

Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成

 每一个agent相当于一个数据传递员,内部有三个组件:

a)         Source:采集源,用于跟数据源对接,以获取数据

b)         Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据

c)         Channel:angent内部的数据传输通道,用于从source将数据传递到sink

Source 到 Channel 到 Sink之间传递数据的形式是Event事件;Event事件是一个数据流单元。

单级agent采集数据:

多级agent串联: 

原文地址:https://www.cnblogs.com/0xcafedaddy/p/6756603.html