Strom小实例，大小写转换

结构：


RandomWordSpout：

  1. package cn.itcast.stormdemo;
  3. import java.util.Map;
  4. import java.util.Random;
  6. import backtype.storm.spout.SpoutOutputCollector;
  7. import backtype.storm.task.TopologyContext;
  8. import backtype.storm.topology.OutputFieldsDeclarer;
  9. import backtype.storm.topology.base.BaseRichSpout;
  10. import backtype.storm.tuple.Fields;
  11. import backtype.storm.tuple.Values;
  12. import backtype.storm.utils.Utils;
  14. public class RandomWordSpout extends BaseRichSpout{
  16. 	private SpoutOutputCollector collector;
  17. 	
  18. 	//模拟一些数据
  19. 	String[] words = {"iphone","xiaomi","mate","sony","sumsung","moto","meizu"};
  20. 	
  21. 	//不断地往下一个组件发送tuple消息
  22. 	//这里面是该spout组件的核心逻辑
  23. 	@Override
  24. 	public void nextTuple() {
  26. 		//可以从kafka消息队列中拿到数据,简便起见，我们从words数组中随机挑选一个商品名发送出去
  27. 		Random random = new Random();
  28. 		int index = random.nextInt(words.length);
  29. 		
  30. 		//通过随机数拿到一个商品名
  31. 		String godName = words[index];
  32. 		
  33. 		
  34. 		//将商品名封装成tuple，发送消息给下一个组件
  35. 		collector.emit(new Values(godName));
  36. 		
  37. 		//每发送一个消息，休眠500ms
  38. 		Utils.sleep(500);
  39. 		
  40. 		
  41. 	}
  43. 	//初始化方法，在spout组件实例化时调用一次
  44. 	@Override
  45. 	public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
  47. 		this.collector = collector;
  48. 		
  49. 		
  50. 	}
  52. 	//声明本spout组件发送出去的tuple中的数据的字段名
  53. 	@Override
  54. 	public void declareOutputFields(OutputFieldsDeclarer declarer) {
  56. 		declarer.declare(new Fields("orignname"));
  57. 		
  58. 	}
  60. }
SuffixBolt ：

  1. package cn.itcast.stormdemo;
  3. import java.io.FileWriter;
  4. import java.io.IOException;
  5. import java.util.Map;
  6. import java.util.UUID;
  8. import backtype.storm.task.TopologyContext;
  9. import backtype.storm.topology.BasicOutputCollector;
  10. import backtype.storm.topology.OutputFieldsDeclarer;
  11. import backtype.storm.topology.base.BaseBasicBolt;
  12. import backtype.storm.tuple.Tuple;
  14. public class SuffixBolt extends BaseBasicBolt{
  15. 	
  16. 	FileWriter fileWriter = null;
  17. 	
  18. 	
  19. 	//在bolt组件运行过程中只会被调用一次
  20. 	@Override
  21. 	public void prepare(Map stormConf, TopologyContext context) {
  23. 		try {
  24. 			fileWriter = new FileWriter("/home/hadoop/stormoutput/"+UUID.randomUUID());
  25. 		} catch (IOException e) {
  26. 			throw new RuntimeException(e);
  27. 		}
  28. 		
  29. 	}
  30. 	
  31. 	
  32. 	
  33. 	//该bolt组件的核心处理逻辑
  34. 	//每收到一个tuple消息，就会被调用一次
  35. 	@Override
  36. 	public void execute(Tuple tuple, BasicOutputCollector collector) {
  38. 		//先拿到上一个组件发送过来的商品名称
  39. 		String upper_name = tuple.getString(0);
  40. 		String suffix_name = upper_name + "_itisok";
  41. 		
  42. 		
  43. 		//为上一个组件发送过来的商品名称添加后缀
  44. 		
  45. 		try {
  46. 			fileWriter.write(suffix_name);
  47. 			fileWriter.write("
");
  48. 			fileWriter.flush();
  49. 			
  50. 		} catch (IOException e) {
  51. 			throw new RuntimeException(e);
  52. 		}
  53. 		
  54. 		
  55. 		
  56. 	}
  58. 	
  59. 	
  60. 	
  61. 	//本bolt已经不需要发送tuple消息到下一个组件，所以不需要再声明tuple的字段
  62. 	@Override
  63. 	public void declareOutputFields(OutputFieldsDeclarer arg0) {
  65. 		
  66. 	}
  68. }
TopoMain ：

  1. package cn.itcast.stormdemo;
  3. import backtype.storm.Config;
  4. import backtype.storm.StormSubmitter;
  5. import backtype.storm.generated.AlreadyAliveException;
  6. import backtype.storm.generated.InvalidTopologyException;
  7. import backtype.storm.generated.StormTopology;
  8. import backtype.storm.topology.TopologyBuilder;
  10. /**
  11.  * 组织各个处理组件形成一个完整的处理流程，就是所谓的topology(类似于mapreduce程序中的job)
  12.  * 并且将该topology提交给storm集群去运行，topology提交到集群后就将永无休止地运行，除非人为或者异常退出
  13.  * @author duanhaitao@itcast.cn
  14.  *
  15.  */
  16. public class TopoMain {
  18. 	
  19. 	public static void main(String[] args) throws Exception {
  20. 		
  21. 		TopologyBuilder builder = new TopologyBuilder();
  22. 		
  23. 		//将我们的spout组件设置到topology中去 
  24. 		//parallelism_hint ：4  表示用4个excutor来执行这个组件
  25. 		//setNumTasks(8) 设置的是该组件执行时的并发task数量，也就意味着1个excutor会运行2个task
  26. 		builder.setSpout("randomspout", new RandomWordSpout(), 4).setNumTasks(8);
  27. 		
  28. 		//将大写转换bolt组件设置到topology，并且指定它接收randomspout组件的消息
  29. 		//.shuffleGrouping("randomspout")包含两层含义：
  30. 		//1、upperbolt组件接收的tuple消息一定来自于randomspout组件
  31. 		//2、randomspout组件和upperbolt组件的大量并发task实例之间收发消息时采用的分组策略是随机分组shuffleGrouping
  32. 		builder.setBolt("upperbolt", new UpperBolt(), 4).shuffleGrouping("randomspout");
  33. 		
  34. 		//将添加后缀的bolt组件设置到topology，并且指定它接收upperbolt组件的消息
  35. 		builder.setBolt("suffixbolt", new SuffixBolt(), 4).shuffleGrouping("upperbolt");
  36. 		
  37. 		//用builder来创建一个topology
  38. 		StormTopology demotop = builder.createTopology();
  39. 		
  40. 		
  41. 		//配置一些topology在集群中运行时的参数
  42. 		Config conf = new Config();
  43. 		//这里设置的是整个demotop所占用的槽位数，也就是worker的数量
  44. 		conf.setNumWorkers(4);
  45. 		conf.setDebug(true);
  46. 		conf.setNumAckers(0);
  47. 		
  48. 		
  49. 		//将这个topology提交给storm集群运行
  50. 		StormSubmitter.submitTopology("demotopo", conf, demotop);
  51. 		
  52. 	}
  53. }
UpperBolt ：
  1. package cn.itcast.stormdemo;
  3. import backtype.storm.topology.BasicOutputCollector;
  4. import backtype.storm.topology.OutputFieldsDeclarer;
  5. import backtype.storm.topology.base.BaseBasicBolt;
  6. import backtype.storm.tuple.Fields;
  7. import backtype.storm.tuple.Tuple;
  8. import backtype.storm.tuple.Values;
  10. public class UpperBolt extends BaseBasicBolt{
  12. 	
  13. 	//业务处理逻辑
  14. 	@Override
  15. 	public void execute(Tuple tuple, BasicOutputCollector collector) {
  16. 		
  17. 		//先获取到上一个组件传递过来的数据,数据在tuple里面
  18. 		String godName = tuple.getString(0);
  19. 		
  20. 		//将商品名转换成大写
  21. 		String godName_upper = godName.toUpperCase();
  22. 		
  23. 		//将转换完成的商品名发送出去
  24. 		collector.emit(new Values(godName_upper));
  25. 		
  26. 	}
  28. 	
  29. 	
  30. 	//声明该bolt组件要发出去的tuple的字段
  31. 	@Override
  32. 	public void declareOutputFields(OutputFieldsDeclarer declarer) {
  33. 		
  34. 		declarer.declare(new Fields("uppername"));
  35. 	}
  37. }


 




【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/xiaoxiao5ya/p/caf5daa5f8b5d3861583b24e1f2d8308.html