storm安装部署

Storm是一个实时处理框架,安装也比Hadoop还有OOZIE简单,如下:

之前在Storm初探中介绍Storm节点时间的控制管理是通过Zookeeper来管理的,所以需要先安装Zookeeper集群

1、下载Zookeeper,zookeeper-3.4.6.tar.gz并解压,并将conf/zoo_sample.cfg重命名为zoo.cfg并修改如下:

tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop-kf100.jd.com:2888:3888
server.2=hadoop-kf101.jd.com:2888:3888
server.3=hadoop-kf102.jd.com:2888:3888

因为我安装了3个节点hadoop-kf100.jd.com、hadoop-kf101.jd.com、hadoop-kf102.jd.com所以每个节点上都需要进行配置

并且需要在每个节点的dataDir目录下创建myid文件,内容为zoo.cfg配置文件中设置的对应的数字编号

2、设置完后便可启动zookeeper集群,在每个节点进入bin目录下执行:sh zkServer.sh start

设置完后可敲入sh zkServer.sh status命令查看zookeeper集群状态

Storm安装:

1、下载Storm压缩文件apache-storm-0.9.3.tar.gz并解压,设置环境变量,如下:(每个节点都进行设置)

export STORM_HOME=/export/servers/apache-storm-0.9.3

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$STORM_HOME/bin:$PATH

设置完环境变量别忘了source一下使环境变量生效

2、修改conf/storm.yaml配置文件,修改内容如下:(每个节点都进行设置)

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "192.168.157.100"
- "192.168.157.101"
- "192.168.157.102"

storm.local.dir: "/home/storm/workdir"

storm.zookeeper.session.timeout: 100000

storm.zookeeper.connection.timeout: 60000
nimbus.host: "192.168.157.100"

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707

以上,已经全部配置完毕,上面已启动zookeeper集群,现在只需启动Storm集群即可:

进入bin目录下执行:

在nimbus节点执行bin/storm nimbus、bin/storm ui命令

在supervisor节点执行bin/storm supervisor命令

在每个节点执行bin/storm logviewer 启动日志功能,否则通过UI点端口查看日志时查看不了

以上,便完成了Storm的安装,是不是很简单

原文地址:https://www.cnblogs.com/zhli/p/4819788.html