《任务调度-DolphinScheduler》DolphinScheduler实例表备份、清理

DATA数据猿

已于 2023-03-11 16:17:23 修改

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：任务调度文章标签：数据库服务器 mysql

于 2022-09-03 15:50:07 首次发布

本文链接：https://blog.csdn.net/m0_51197424/article/details/126678183

本文介绍了Apache DolphinScheduler在项目中使用一年后，如何处理百万级工作流和任务实例数据的问题。作者提出了以特定日期为界备份并清理数据的方法，详细展示了工作流实例和任务实例的表结构，以及数据备份的逻辑。同时，讨论了数据备份的高效策略，包括使用`SELECT DATA INTO OUTFILE`和`LOAD DATA INFILE`命令，以及考虑了`secure_file_priv`参数的设置。此外，还提及了数据拆分的必要性和性能优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

😋DolphinScheduler实例表备份、清理

👊一、前言

DolphinScheduler至今已经在项目中使用了将近一年，工作流实例和任务流实例都积累了百万级的数据量。在查看工作流实例和任务实例的时候，都要等待后台去查询数据库，感觉在使用上不太方便。所以想着以某一日期为界限，备份后再清除这部分数据。

在这里插入图片描述

👊二、查看实例表

🙇‍♀2.1 工作流实例

表结构

CREATE TABLE `t_ds_process_instance` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `name` varchar(255) DEFAULT NULL COMMENT '流程定义名称',
  `process_definition_id` int(11) DEFAULT NULL COMMENT '流程定义ID',
  `state` tinyint(4) DEFAULT NULL COMMENT '流程实例状态：0提交成功，1运行，2准备暂停，3暂停，4准备停止，5停止，6失败，7成功，8需要容错，9终止，10等待线程，11等待依赖项完成',
  `recovery` tinyint(4) DEFAULT NULL COMMENT '流程实例故障转移标志：0：正常，1：故障转移实例',
  `start_time` datetime DEFAULT NULL COMMENT '流程实例开始事件',
  `end_time` datetime DEFAULT NULL COMMENT '流程实例结束事件',
  `run_times` int(11) DEFAULT NULL COMMENT '流程实例运行时间',
  `host` varchar(135) DEFAULT NULL COMMENT '主机',
  `command_type` tinyint(4) DEFAULT NULL COMMENT '命令类型',
  `command_param` text COMMENT 'json命令参数',
  `task_depend_type` tinyint(4) DEFAULT NULL COMMENT '任务取决于类型。0：仅当前节点，1：在节点之前，2：在节点之后',
  `max_try_times` tinyint(4) DEFAULT '0' COMMENT '最大尝试次数',
  `failure_strategy` tinyint(4) DEFAULT '0' COMMENT '失败策略。0：节点失败时结束进程，1：节点失败后继续运行其他节点',
  `warning_type` tinyint(4) DEFAULT '0' COMMENT '警告类型。0：无警告，1：进程成功时警告，2：进程失败时警告，3：成功时警告',
  `warning_group_id` int(11) DEFAULT NULL COMMENT '告警组ID',
  `schedule_time` datetime DEFAULT NULL COMMENT '调度事件',
  `command_start_time` datetime DEFAULT NULL COMMENT '命令开始事件',
  `global_params` text COMMENT '全局参数',
  `process_instance_json` longtext COMMENT '流程实例json（复制的过程定义的json）',
  `flag` tinyint(4) DEFAULT '1' COMMENT '标志',
  `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_sub_process` int(11) DEFAULT '0' COMMENT '标志，进程是否为子进程',
  `executor_id` int(11) NOT NULL COMMENT '执行者ID',
  `locations` text COMMENT '节点位置信息',
  `connects` text COMMENT '节点连接信息',
  `history_cmd` text COMMENT '流程实例操作的历史命令',
  `dependence_schedule_times` text COMMENT '取决于火灾时间的安排',
  `process_instance_priority` int(11) DEFAULT NULL COMMENT '进程实例优先级。0最高，1高，2中等，3低，4最低',