03_ Flume采集(监听)目录到HDFS案例

采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去

根据需求,首先定义以下3大要素

  l.采集数据源,即source——监控文件目录 :  spooldir

  2.下沉目标,即sink——HDFS文件系统  :  hdfs sink

  3.source和sink之间的传递通道——channel,可用file channel 也可以用内存channel

配置采集方案:

  

 

原文地址:https://www.cnblogs.com/yaboya/p/9305757.html