Strom简介,以及安装,和官方案例测试

一:简介

1.官网

  http://storm.apache.org/

2.strom的两种形式

  

2.strom的特性

  

3.使用场景

  

4.集群架构

  各个节点快速失败,无状态。

  快速失败的意思是,节点挂掉后,马上重启后,就可以正常工作,不需要很长的时间初始化,状态恢复等过程。

  无状态:节点本身不存储自己的状态信息,将状态信息由第三方存储。、

  可以实现高可靠性。

  

5.集群架构进程

  

6.组件 Nimbus

  

7.从节点Supervisor

  

8.组件worker

  

9.组件Executor

  

10.组件zookeeper

  

11.组件UI

  

12.组件Logviewer

  

13.组件Netty

  

二:安装

1.下载上传

  

2.解压

3.修改配置文件strom_env.sh

  环境配置文件。

  

4.修改strom.yaml

  应用程序配置文件。

  python程序的配置文件,注意固定的格式。

  storm.local.dir:指定jar提交后保存的本地文件上的地址,先创建workspace。

  slots.ports是指定supervisor启动的工作进程worker的默认端口号,是supervisor从节点的端口号,如果启动的worker数量超过配置的几个端口,将会随机取端口。

  

   

三:启动

1.启动zookeeper进程

  

2.启动主节点

  首先是config_value,加载配置文件的过程。

  

3.启动从节点

  

4.启动ui

  要在主机点上。

  

5.检测8020端口

  

6.登录网页

  

 7.启动logviewer

  在每个logviewer从节点上都启动。

  查看进程:daemon.loggerviewer。

  

8.特别注意的点:

  在每个启动前加上nohup,表示代理的意思。

  例如:nohup bin/storm logviewer> /dev/null 2>&1 &

四:测试

1.运行命令

  bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount

2.网页

  

 3.进入wordcount

  

五:集群停止

1.停止

  没有命令,只能使用kill

  先停主节点,再停从节点。

  但是,要先停任务。否则,下次启动集群的时候,会将任务都启动起来。

原文地址:https://www.cnblogs.com/juncaoit/p/6187055.html