Stream grouping-storm的流分组策略

A stream grouping tells a topology how to send tuples between two components. Remember, spouts and bolts execute in parallel as many tasks across the cluster.

Stream grouping的作用是告诉topology如何在组件(Spout/Bolt)之间传递tuples。

一个拓扑(topology)的执行就一个Spout和很多个Bolt在storm集群中执行。下图中的连线就是流(stream)

If you look at how a topology is executing at the task level, it looks something like this:

Tasks in a topology

Spouts和bolts 可以统称为task,也可以统称为组件(components)后者更恰当一些。

works:在一个supervisor节点可以运行多个jvm进程一个端口一个,每个节点一般开3个以上看硬件配置。一个work就是一个java进程。一个worker包含多个exectors

topology:可以包含一个或者多个worker并行的在不同的机器上执行,

exectors : 默认每个excutor只执行一个task

tasks(bolt/spout) : 每一个spout或者bolt会被当做很多task在集群里面执行,每一个task对应一个线程

component组件就是指(bolt/spout) : 每个sput或者bolt至少对应一个executor

stream grouping: 定义怎么从一堆task发射tuple到另一堆task

works jvm:在一个节点可以运行多个jvm进程,一个topology可以包含一个或者多个worker并行的泡在不同的machine,所以一个work progress就是执行一个topology的子集

并且一个worker只能对应一个toplogy

exectors在一个worker可以包含一个或者多个tasks,但默认每个excutor只执行一个task,一个worker包含多个exectors,每个component(spout和bolt)至少对应一个executor

tasks(bolt/spout instance) task就是具体的处理对象,每一个spout和bolt会被当做很多task在集群里面执行,每一个task对应一个线程,而stream grouping则是定义怎么从一堆task发射tuple到另一堆task,可以调用ToplogyBuilder.setSpout和TopBuilder.setBolt来设置并行度,也就是多个task配置并行度

对于并行度的配置,在storm可以在多个地方进行配置, 优先级为

defaults.yaml<storm.yaml<topology-specific configuration<internal component-specific configuration<external componnet -specific configuration

work process 的数目,可以通过配置文件和代码中的配置,work就是执行进程,所以考虑并发的效果,数目

至少应该大于machines数目

executor数目 component的并发线程数, 只能在代码中配置通过setbolt和setspout的参数,列如 setbolt("green-bolt",new GreenBolt(),2)

tasks数目,可以不配置,默认和executor1:1,也可以通过设置setNumTask()配置

配置并行度

Topology 的worker数通过config设置,也就是执行该toplogy 的work进程数,他可以通过strom

rebalance 命令任意调整

Config conf=new Config();

stream Grouping ,告诉topology如何在两个组件之间发送tuple

定义一个topology的其中一个定义每个bolt接收什么样的流作为输入。stream grouping 就是用来stream应该stream应该

如果分配数据给bolts上面的多个tasks

列如:当:boltA 的一个task要发送一个tuple给bolt B , 他应该发送--

storm里面有7种 stream grouping

1.shuffle grouping 

2.fields grouping

3.all grouping

4.global grouping

5.none grouping

6.direct grouping

7local or shuffle grouping

refer to: http://storm.apache.org/releases/current/Tutorial.html

原文地址:https://www.cnblogs.com/ze-lin/p/10106300.html