集群的高级设定 集群时间设置

1 时间同步 2 历史服务器 3 日志合并

  时间同步

时间同步设置的第二种方式: 启动 service  NTP   
先将主节点的同步时间设置  然后在将从节点的时间同步
主节点:
  1.vim /etc/ntp.conf

      a.将与网络同步的时间设置注释
             

       b.注释a的上面将内容写入  注:和主节点时间一样分发给其他节点

               restrict default ignore

               restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

       c.  注释a的下面写入  注:不用网络同步 用主节点时间同步

          server 127.127.1.0

              fudge 127.127.1.0 stratum 10

   2.配置文件设置好以后  输入命令同步时间
      service ntpd restart

      可以查看一下状态:service ntpd status

每台从节点:
输入同步命令:ntpdate linux04
注:linux04 是主节点的主机名称

下图都有:   

       1. 修改配置文件:vi /etc/ntp.conf       

    restrict default ignore

                restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

注:如果不对  请在 ignore这个单词后面+v试一下 

    注:192.168.10.0 是自己Linux的IP地址

    --------------------------------------------------------------------

    server 127.127.1.0

    fudge 127.127.1.0 stratum 10

         

改完配置要重启ntp服务  service ntpd restart

 

 第一台机器启动ntp服务:

 

第二台ntp同步时间必须关了 因为要和第一台时间同步 都起了不知道和谁同步

 

和第一台机器同步:

第三台也是一样的

其他两台机器要想同步时间的话 那么第一台必须起来一个同步时间的服务

继续配置 每隔10秒同步一下时间

注意全路径

* * * * * /usr/sbin/ntpdate zhangqi
* * * * * sleep 10: /usr/sbin/ntpdate zhangqi
* * * * * sleep 20: /usr/sbin/ntpdate zhangqi
* * * * * sleep 30: /usr/sbin/ntpdate zhangqi
* * * * * sleep 40: /usr/sbin/ntpdate zhangqi
* * * * * sleep 50: /usr/sbin/ntpdate zhangqi

第一台改一下时间:

第二台一直date最终会和第一台同步时间:

第三台一直date最终会和第一台同步时间:

配置历史服务器

运行一个wc程序

 

然后 去这个工具  修改配置文件   三台机子的配置文件都改

<property>
<name>yarn.log-aggregation-enable</name>
<!--开启日志聚合 -->
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/hadoop/logs</value>
</property>

 

 去 Xshell 里面   将

stop-yarn.sh ------------------start-yarn.sh--------jps

打开job进程  :mr-jobhistory-daemon.sh start historyserver------------(这个是关闭job:mr-jobhistory-daemon.sh stop historyserver)

jsp  查看一下 

 

原文地址:https://www.cnblogs.com/JBLi/p/10691745.html