相关技术-airflow

一、Airflow

介绍:1、这个东西是用来调度、管理服务的。可以实现task的定时、循环、失败重启等调度策略,以及task-task间的逻辑配合,以及对tasks 的监控、执行日志记录等功能;

     2、crontab有类似的功能,就是定时循环调度task,但是功能太单一,不如airflow好;这个东西主要是在数据层面用。

     3、这个有几个核心部件组成,webserver、schduler等待

 

原文地址:https://www.cnblogs.com/zhao-zhao/p/15243853.html