大数据调度与数据质量的重要性

功能需求：

调度 与数据质量应该并行进行开发设计

1、ETL任务设计时均需要设计为失败可重跑：失败的原因包括源端数据存在问题、数据库服务重启等等

2、ETL任务设计时需要设计为失败自动尝试；

2、ETL任务应该可以实现可视化、便于快速查看依赖关系

3、ETL中数据质量的check应该发生在跨系统时刻。