工作流调度系统（DolphinScheduler、Azkaban、Airflow、Oozie 和 XXL-JOB）

1. DolphinScheduler

1.1 DolphinScheduler介绍

DolphinScheduler 是一个分布式、去中心化、易扩展的可视化 DAG 工作流任务调度系统，专注于解决数据处理流程中的依赖关系 。它支持多种任务类型，包括但不限于 Shell、MR、Spark、SQL、Python 等，并且提供丰富的任务状态监控信息和可视化的 DAG 定义界面 。DolphinScheduler 的架构经过升级，引入了 Netty 进行节点间通信，并提供了多种任务分发算法。

1.2 DolphinScheduler优点

• 简单易用：DAG监控界面，所有流程定义都是可视化，通过拖拽任务完成定制DAG，通过API方式与第三方系统集成, 一键部署。
• 高可靠性：去中心化的多Master和多Worker服务对等架构, 避免单Master压力过大，另外采用任务缓冲队列来避免过载。
• 丰富的使用场景：支持多租户，支持暂停恢复操作. 紧密贴合大数据生态，提供Spark, Hive, M/R, Python, Sub_process, Shell等近20种任务类型。
• 高扩展性：支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线。

2. Azkaban