利用salt搭建hadoop集群

自动化工具有很多。。今天总结一下salt安装hadoop 步骤,学习过程。

1,机器列表

hosts文件    只需要将namenode的两台机器上配置 ,不解释了。

2.salt-master在107.3上,salt的配置如下图。

3.启动步骤

这一步  

salt -N zk cmd.run "su zookeeper -c ''source /etc/profile && cd /app/zookeeper/bin && ./zkServer.sh start'"   (启动zk)

salt cnsz20pl2420 cmd.run "su hdfs -c 'source /etc/profile && hdfs zkfc -formatZK'"

格式化zk

salt -N jn cmd.run "su hdfs -c 'source /etc/profile && hadoop-daemon.sh start journalnode'"

启动journalnode

一定要查看日志看是否启动,一定哦,一切问题看日志。。。

③启动两个namenode

注意salt 主机名   cmd.run   类似下图

④启动datanode节点

 ⑤启动resourcemansger和zkfc(namenode间配ssh免密。否则zkfc切换不过去,就是namenode异常是无法切换的。。)

 ⑥,开启历史日志服务

⑦启动datanode节点上的yarn.

权限稍微改改就好了,再重启一次。,前面启动的再重启不会影响。

 

去网页上就可以看到这样的界面啦。

yarn界面

启动

salt -N nn cmd.run 'su - yarn -c "yarn-daemon.sh start resourcemanager"'

看日志已经起来了。接下来去页面上去看资源与HDFS存储就好了。

Hbase明天继续。后续会详细讲如何搭建起来一个生产环境完整的。。。

原文地址:https://www.cnblogs.com/hit-zb/p/8424189.html