Flume的Collector

  Collector的作用是将多个Agent的数据汇总后,加载到Storage中。它的source和sink与agent类似。

数据源(source),如:

  collectorSource[(port)]:Collector source,监听端口汇聚数据。

  autoCollectorSource:通过master协调物理节点自动汇聚数据。

  logicalSource:逻辑source,由master分配端口并监听rpcSink。

sink,如:
  collectorSink( “fsdir”,”fsfileprefix”,rollmillis):collectorSink,数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录,fsfileprefix为文件前缀码。

  customdfs(“hdfspath”[, "format"]):自定义格式dfs。

原文地址:https://www.cnblogs.com/zlslch/p/6784963.html