apache storm 1.0.0 新特性

1>处理速度增加, 延迟减少.性能提升10倍以上,延迟减少60%. 实际应用最少提升性能3倍以上.

2>pacemaker, wokrer间心跳服务器.减少了通过zookeeper保持心跳的瓶颈. 通过in-memory store这些数据.

3>分布式缓存api, 支持在命令行更改缓存内容.不需要重启拓扑.

4>HA nimbus, 之前版本中nimbus是单点的,新版本可以启动多个nimbus service,选择leader.

5>native streaming window api, 可以指定window length 或者 slideing interval,具体操作看:http://storm.apache.org/releases/1.0.0/Windowing.html

6>bolt的状态管理,  继承BaseStatefulBolt ,在bolt失败时recover.

7>automatic backpressure, 之前版本中,通过设置topology.max.spout.pending来设置最大等待队列.新版本中通过设置task的缓冲区的百分比大小进行限流.当缓冲区达到设     置的警戒线的高值时,会降低spout的发送速度.当缓冲区大小达到设置的警戒线的低值时,会取消缓冲区

8>资源调度,可以设置拓扑的spout/bolt内存(on-heap和off-heap)和CPU.具体考:http://storm.apache.org/releases/1.0.0/Resource_Aware_Scheduler_overview.html

9>动态调整log级别,不用重启

10> 可以在storm ui中对部分拓扑进行debug

11> 可以在storm ui 中对单个拓扑的日志进行全部的查找,即查找所以的supervisor日志.

12> 动态的worker分析,在storm ui 中可以请求worker的heap dump,jstack output and JProfile Recording.

over...基本就是官网的翻译吧.具体还没试呢.

 

 

原文地址:https://www.cnblogs.com/yimapingchuan/p/5385891.html