20 Storm的理解

一、Storm概念

1、Storm流式处理：

Storm vs. mapreduce

Storm：面向实时

缺点：吞吐能力差

优点：时效性好，毫秒级别，增量式处理

Mapreduce：面向批量

缺点：时效性差

优点：吞吐能力强，适合批处理

2、Storm：没有持久化功能——》快

可靠性：保证消息处理

本地模式

原语：spout和bolt

3、Storm基本概念：

1）Stream：数据流

2）Tuple：最基本的数据单元

3）Topology：网络拓扑

Grouping：Shuffle/Fields

4）Spout：消息生产者

可以对接很多类型的数据流

收集消息处理的ack、fail

5）Bolt：消息处理逻辑

过滤、访问外部服务、数据格式化、聚合、汇总。。。

可以发送多条流

4、常见模式：

（1）流式

（2）持续计算——机器学习迭代

（3）分布式RPC——独立服务

5、架构：

主：Nimbus：分配工作

如果挂掉：重启之后，像什么事情没有发生一样——无状态（快速失败fail-fast）

意味着你可以用kill -9来杀死Nimbus和Supervisor进程，然后再重启它们，就好像什么都没有发生过。这个设计使得Storm异常的稳定。

从：Supervisor：监控工作

快速失败fail-fast，监控Worker工作

Worker：工作进程

Task：线程

spout和bolt的线程都是task

executor进程，里面维护很多task，每次只会执行一个task

Zookeeper协调管理

6、容错：

架构容错

数据容错：

（1）timeout

（2）ack机制：本质是一个特殊的task

二、Storm环境安装

1. Storm源码包下载

http://mirror.bit.edu.cn/apache/storm/

2. 下载安装包

#Master
wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz
tar zxvf apache-storm-0.9.3.tar.gz

3. 修改Storm配置文件

#Master
cd apache-storm-0.9.3/conf
vim storm.yaml

内容：

storm.zookeeper.servers:
    - "master"
    - "slave1"
    - "slave2"

nimbus.host: "master"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
    - 6704
    - 6705

4. 配置环境变量

#Master、Slave1、Slave2
vim ~/.bashrc

STORM_HOME=/usr/local/src/apache-storm-0.9.3
export PATH=$PATH:$STORM_HOME/bin
刷新环境变量source ~/.bashrc

5. 拷贝安装包

scp -r /usr/local/src/apache-storm-0.9.3 root@slave1:/usr/local/src/apache-storm-0.9.3
scp -r /usr/local/src/apache-storm-0.9.3 root@slave2:/usr/local/src/apache-storm-0.9.3

6. 启动集群

#master
vim /usr/local/src/apache-storm-0.9.3/bin/start-storm-master.sh

python /usr/local/src/apache-storm-0.9.3/bin/storm nimbus &
python /usr/local/src/apache-storm-0.9.3/bin/storm ui &
python /usr/local/src/apache-storm-0.9.3/bin/storm logviewer &

chmod +x /usr/local/src/apache-storm-0.9.3/bin/start-storm-master.sh
start-storm-master.sh

#Slave1、Slave2
vim /usr/local/src/apache-storm-0.9.3/bin/start-storm-slave.sh

python /usr/local/src/apache-storm-0.9.3/bin/storm supervisor &
python /usr/local/src/apache-storm-0.9.3/bin/storm logviewer &

chmod +x /usr/local/src/apache-storm-0.9.3/bin/start-storm-slave.sh
start-storm-slave.sh

7. 集群状态

Master
Slave1
Slave2

8. 监控页面

9. 关闭集群

#master、Slave1、Slave2
vim /usr/local/src/apache-storm-0.9.3/bin/stop-storm.sh

kill `ps aux| grep storm | grep -v 'grep' | awk '{print $2}'`

chmod +x /usr/local/src/apache-storm-0.9.3/bin/stop-storm.sh
stop-storm.sh