流量监控系统---storm集群配置

1、集群部署的基本流程

集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

注意：

所有的集群上都需要配置hosts

vi /etc/hosts

192.168.223.201 storm01 zk01 hadoop01

192.168.223.202 storm02 zk02 hadoop02

192.168.223.203 storm03 zk03 hadoop03

2、基础环境准备

2.1准备工作

mkdir /export

mkdir /export/servers

chmod 755 -R /export

2.2下载安装包

2.3解压压缩包

tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/

cd /export/servers/

ln -s apache-storm-0.9.5 storm

2.4修改配置文件

mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak

vi /export/servers/storm/conf/storm.yaml

输入以下内容：

#指定storm使用的zk集群
storm.zookeeper.servers:
     - "zk01"
     - "zk02"
     - "zk03"
#指定storm本地状态保存地址
storm.local.dir: "/export/data/storm/workdir"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "storm01"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上，每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

2.5分发安装包

scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

然后分别在各机器上创建软连接

cd /export/servers/

ln -s apache-storm-0.9.5 storm

2.6配置环境变量

vi /etc/profile

export STORM_HOME=/export/servers/storm
export PATH=$PATH:$STORM_HOME/bin

刷新环境变量

source /etc/profile

3、启动

master中启动nimbus和ui:
nohup storm nimbus &
nohup storm ui &

supervis机器上启动:
nohup storm supervisor &

4、查看集群

访问nimbus.host:/8080，即可看到storm的ui界面。

5、启动storm

　5.1启动storm拓扑

storm jar jar包主函数拓扑名称

storm jar 20180111.jar logMonitor.LogMonitorTopologyMain kafka4storm

5.2启动application（启动runnable jar包）

1、规定主函数

2、java -jar xxxxx.jar