Apache Flume 学习

Apache Flume,又称Flume NG (next generation),前身是Cloudera公司的Flume项目 -- 又称Flume OG。

这货的功能就是从源中将数据收集到指定的目的地,例如从日志文件中收集日志信息,发送到数据库中或其他地方。

Apache Flume的三大块:source、channel、sink;也就是 数据源、通道、目的地。

两个主要的channel:①in-memory channel 非持久、速度快;②JDBC-based channel 持久、速度慢。

所有的节点统称agent;每个agent能运行0个或多个sources和sinks。

不再需要master节点;不再需要依赖zookeeper;配置文件简化。

原文地址:https://www.cnblogs.com/larryzeal/p/6473305.html