离线电商数仓(十三)之用户行为数据采集(十三)采集通道启动/停止脚本

1 数据通道测试

根据需求分别生成2020-06-14和2020-06-15日期的数据

1)修改/opt/module/applog/application.properties中业务日期为2020-06-14

#业务日期

mock.date=2020-06-14

2)执行脚本,生成2020-06-14日志数据

[atguigu@hadoop102 ~]$ lg.sh

3)再次修改/opt/module/applog/application.properties中业务日期2020-06-15

#业务日期

mock.date=2020-06-15

4)执行脚本,生成2020-06-15日志数据

[atguigu@hadoop102 ~]$ lg.sh

5)在这个期间,不断观察HadoopHDFS路径上是否有数据

2 采集通道启动/停止脚本

1)在/home/atguigu/bin目录下创建脚本cluster.sh

[atguigu@hadoop102 bin]$ vim cluster.sh

脚本中填写如下内容

#!/bin/bash

case $1 in
"start"){
        echo ================== 启动 集群 ==================

        #启动 Zookeeper集群
        zk.sh start

        #启动 Hadoop集群
        hdp.sh start

        #启动 Kafka采集集群
        kf.sh start

        #启动 Flume采集集群
        f1.sh start

        #启动 Flume消费集群
        f2.sh start

        };;
"stop"){
        echo ================== 停止 集群 ==================

        #停止 Flume消费集群
        f2.sh stop

        #停止 Flume采集集群
        f1.sh stop

        #停止 Kafka采集集群
        kf.sh stop

        #停止 Hadoop集群
        hdp.sh stop

        #停止 Zookeeper集群
        zk.sh stop

};;
esac

2)增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod u+x cluster.sh

3)cluster集群启动脚本

[atguigu@hadoop102 module]$ cluster.sh start

4)cluster集群停止脚本

[atguigu@hadoop102 module]$ cluster.sh stop

本文来自博客园,作者:秋华,转载请注明原文链接:https://www.cnblogs.com/qiu-hua/p/14118099.html

原文地址:https://www.cnblogs.com/qiu-hua/p/14118099.html