storm on Yarn

  1. 项目地址:https://github.com/yahoo/storm-yarn
  2. Storm-yarn enables Storm clusters to be deployed into machines managed by Hadoop YARN.It is still a workin progress.仍然在开发中,所以变化有可能会比较大,而且storm是作为一个work在其中运行的。
  3. 邮件列表:http://groups.google.com/group/storm-yarn
  4. 需要java7的版本
  5. 使用mvn编译
  6. 部署:在hadoop的网关(应该是master)然后将lib目录下的storm.zip文件上传至HDFS中,以便被分布式缓存分布在所有节点中的路径:/lib/storm/<storm-version>/storm.zip
  7. Storm-YARN被配置为使用Netty进行通信。
  8. 如果使用zeromq替代Netty运行storm,还需要使用
    create-tarball.sh storm.zip
    命令增加一个.so文件
  9. 使用命令
    storm-yarn launch <storm-yarn-config>
    启动集群
  10. storm-yarn-configuration(yaml文件)将被用于启动一个storm集群。storm-yarn有许多新的配置选项配置storm。
  11. 使用命令
    storm-yarn getStormConfig <storm-yarn-config> --appId <Application-ID> --output <storm.yaml>
    启动master
  12. 使用命令
    storm jar <appJar>
    提交storm的作业
  13. 帮助命令
    storm-yarn help
原文地址:https://www.cnblogs.com/AI001/p/4307432.html