flume ng系列之——flume安装

flume版本:1.5.0

1、下载安装包:

http://www.apache.org/dyn/closer.cgi/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz

http://www.apache.org/dyn/closer.cgi/flume/1.5.0/apache-flume-1.5.0-src.tar.gz

2、分别解压:

    (1):/usr$ sudo tar zxvf apache-flume-1.5.0-bin.tar.gz

    (2): /usr$ sudo tar zxvf apache-flume-1.5.0-src.tar.gz

    (3): /usr$ sudo cp -ri apache-flume-1.5.0-src/* apache-flume-1.5.0-bin

    (4): /usr$ mv apache-flume-1.5.0-bin/ flume

3、配置环境变量:

PATH="/usr/flume/bin:/usr/hive/bin:/usr/hbase/bin:/usr/hadoop/bin"

配置环境变量生效

source /etc/environment

4、建立配置文件

这里面的配置文件还是比较特别的,不同于以往我们安装的软件,我们这里可以自己建立配置文件。

首先我们建立一个example文件

vi example

然后把下面的内容,粘贴到里面就可以了,注意不要有乱码,有乱码的话,可以直接创建一个文件,然后上传。

对于下面红字部分,记得创建文件夹,并且注意它们的权限一直。对于下面的配置项,可以参考flume参考文档(http://www.aboutyun.com/thread-7924-1-1.html),这里面的参数很详细。

agen1表示代理名称

agent1.sources = source1

agent1.sinks = sink1

agent1.channels = channels

#配置source1

agent1.sources.source1.type=spooldir

agent1.sources.source1.spoolDir=/usr/aboutyunlog

agent1.sources.source1.channels = channel1

agent1.sources.source1.fileHeader = false

#配置sink1

agent1.sinks.sink1.type = hdfs

agent1.sinks.sink1.hdfs.path = hdfs://master:8020/abouyunlog 

agent1.sinks.sink1.hdfs.fileType = DataStream

agent1.sinks.sink1.hdfs.writeFormat = TEXT

agent1.sinks.sink1.hdfs.rollInterval = 4

agent1.sinks.sink1.channel = channel1

#配置channel1

agent1.channels.channel1.type = file

agent1.channels.channel1.checkPOINTdIR = /usr/aboutyun_tmp123

agent1.channels.channel1.dataDirs = /usr/aboutyun_tmp

5、启动flume

flume -ng agent -n agent1 -c conf -f /usr/flume/conf/example -Dflume.root.logger = DEBUG,console

6、我们启动flume之后,会看到控制台输出信息,并且信息不停的重复。这个其实是在空文件的时候,监控的信息输出。

7、这个控制台不要关闭,我们另外开启一个shell,在监控文件夹中放入要上传的文件。

比如我们在监控文件下,创建一个test1文件,内容如下

hello 1

hello 2

hello aboutyun

这时候flume的监控shell,会有相应的变化。

8、上传成功之后,我们去hdfs上,查看上传文件:

就会发现test1文件已经被上传上来了。这样我们做到了flume上传到hadoop上面。

原文地址:https://www.cnblogs.com/man-li/p/4362264.html