xxl-job任务调度中心详细介绍和使用

原创 已于 2023-01-03 16:35:05 修改 · 7.5k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #java #网络

于 2022-05-23 23:43:19 首次发布
XXL-JOB是一个轻量级分布式任务调度平台，具备简单、动态、高可用等特性。本文详细介绍了XXL-JOB的框架架构、使用步骤、执行器集成以及相关特性，包括调度中心集群、执行器集群、任务路由策略和故障转移等功能。通过源码仓库地址、数据表脚本、配置信息和调度日志等内容，帮助读者快速理解和部署XXL-JOB。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

xxl-job任务调度中心详细介绍和使用

一、概述

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。xxl三个字母是其开发者许雪里名字的缩写。

特性：
1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
​ 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
​ 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
​ 4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
​ 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
​ 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
​ 7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
​ 8、故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
​ 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
​ 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
​ 11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
​ 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
​ 13、分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
​ 14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
​ 15、事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发

二、框架架构

源码中xxl-job架构图：doc/XXL-JOB架构图.pptx

1.仓库地址

1.1源码仓库地址

github：https://github.com/xuxueli/xxl-job
gitee：https://gitee.com/xuxueli0323/xxl-job

1.2中央仓库地址

<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>${最新稳定版本}</version>
</dependency>

1.3源码目录介绍

  • /doc :文档资料
  • /db :“调度数据库”建表脚本
  • /xxl-job-admin :调度中心，项目源码
  • /xxl-job-core :公共Jar依赖
  • /xxl-job-executor-samples :执行器，Sample示例项目（大家可以在该项目上进行开发，也可以将现有项目改造生成执行器项目）

2.框架模块

2.1组成模块

  • 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；
  • 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

2.2执行模块（执行器）

  • 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；
  • 接收“调度中心”的执行请求、终止请求和日志请求等。

2.3注册中心模块

XXL-RPC的注册中心，是可选组件，⽀持服务注册并动态发现，可选择不启⽤，直接指定服务提供⽅机器地址通讯，选择启⽤时，内置
可选⽅案：“XXL-RPC-ADMIN 轻量级服务注册中心”（推荐）、“ZK注册中心”、“Local注册中心”

2.4执行器模块

执⾏器⽅⾯是基于数据库的集群⽅案，数据库选⽤Mysql；集群分布式并发环境中进⾏定时任务调度时，会在各个节点会上报任务，存
到数据库中，执⾏时会从数据库中取出触发器来执⾏，如果触发器的名称和执⾏时间相同，则只有⼀个节点去执⾏此

2.5服务通讯模块

XXL-RPC提供多中通讯⽅案：⽀持 TCP 和 HTTP 两种通讯⽅式进⾏服务调⽤；其中 TCP 提供可选⽅案 NETTY ，HTTP 提供可选
⽅案 NETTY_HTTP （新版本移除了Mina和Jetty通讯⽅案，主推Netty；如果有需要可以参考旧版本）。

三、xxl-job的使用

1.初始化数据库信息

1.1xxl-job数据表脚本

doc/db/tables_xxl_job.sql

  • 注：建表时注意第一行建数据库脚本，根据自己情况选择是否需要建库

在这里插入图片描述
在这里插入图片描述

2.1修改配置信息

在这里插入图片描述

### web
server.port=8080
server.servlet.context-path=/xxl-job-admin

### actuator
management.server.servlet.context-path=/actuator
management.health.mail.enabled=false

### resources
spring.mvc.servlet.load-on-startup=0
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/

### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########

### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
#mybatis.type-aliases-package=com.xxl.job.admin.core.model

### xxl-job, datasource
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/youth_xxljob?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=youth_xxljob
spring.datasource.password=EfEi4xztSS5PLPTh
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

### datasource-pool
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=10
spring.datasource.hikari.maximum-pool-size=30
spring.datasource.hikari.auto-commit=true
spring.datasource.hikari.idle-timeout=30000
spring.datasource.hikari.pool-name=HikariCP
spring.datasource.hikari.max-lifetime=900000
spring.datasource.hikari.connection-timeout=10000
spring.datasource.hikari.connection-test-query=SELECT 1
spring.datasource.hikari.validation-timeout=1000

### xxl-job, email
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.from=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, access token
xxl.job.accessToken=

### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
xxl.job.i18n=zh_CN

## xxl-job, triggerpool max size
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100

### xxl-job, log retention days
xxl.job.logretentiondays=30

2.运行xxl-job调度中心

2.1启动调度服务

启动两个模块：xxl-job-admin、xxl-job-executor-sample-springboot
根据自己情况修改端口
在这里插入图片描述

2.2.访问地址

http://localhost:8080/xxl-job-admin
(8080端口和上下文路径根据自己的设置的为准)

在这里插入图片描述

### web
server.port=8080
server.servlet.context-path=/xxl-job-admin

2.3登录初始账号密码

账号：admin
密码：123456

2.4xxl-job调度中心界面

在这里插入图片描述
在这里插入图片描述

四、xxl-job集成执行器

1.文件配置

1.1maven依赖

<!-- xxl-job-core -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.3.0</version>
</dependency>

1.2集成Xxl-job的properties配置

.properties文件

### 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
### 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=D:/xxl-job-executor/logs
### 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30

.yml文件

xxl:
    job:
        ### xxl-job, access token：执行器通讯TOKEN，非空时启用
        accessToken: ''
        admin:
            ### xxl-job admin address list：调度中心部署跟地址：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"。
            addresses: http://127.0.0.1:8081/xxl-job-admin
        ### xxl-job executor address：执行器"AppName"和地址信息配置：AppName执行器心跳注册分组依据；地址信息用于"调度中心请求并触发任务"和"执行器注册"。执行器默认端口为9999，执行器IP默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用。单机部署多个执行器时，注意要配置不同执行器端口；
        executor:
            address: ''
            appname: ${spring.application.name}
            ip: 'localhost'
            ### xxl-job log path：执行器运行日志文件存储的磁盘位置，需要对该路径拥有读写权限
            logpath: D:/xxl-job-executor/logs
            ### xxl-job log retention days：执行器Log文件定期清理功能，指定日志保存天数，日志文件过期自动删除。限制至少保持3天，否则功能不生效；
            logretentiondays: 30
            port: 9999

注:

  • xxl.job.admin.addresses 应调度中心地址，注意IP和名称
  • xxl.job.executor.appname 对应执行器名称

1.3执行器配置

在这里插入图片描述

package com.xxl.job.executor.core.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job config
 *
 * @author xuxueli 2017-04-28
 */
@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
     *
     *      1、引入依赖：
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置文件，或者容器启动变量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、获取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */
}

2.BEAN模式

任务以JobHandler方式维护在执行器端

  • 新建执行器代码工程;
  • 声明程序代码编写任务（类形式IJobHandler、方法形式@XxlJob）
  • 在启动执行器工程后，再在调度中心控制台界面新建对应的执行器（执行器名称同xxl.job.executor.appname配置）
  • 在调度中心控制台界面新建对应的任务（通过执行器、JobHandler进行关联）

2.1新建执行器类编写任务

路径：xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/service/jobhandler

package com.youth.executor.service.jobhandler;

import com.youth.core.handler.annotation.XxlJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;

/**
 * @ClassName TestXxJob
 * @Description TODO 测试任务
 * @Author hippoDocker
 * @Date 2022/5/23 21:02
 **/
@Component
public class TestXxJob {
    private static Logger logger = LoggerFactory.getLogger(TestXxJob.class);

    @XxlJob("testJobHandler")
    public void TestJobHandler() throws Exception {
        logger.info("TestJobHandler");
        for (int i = 0; i < 5; i++) {
            logger.info("测试输出111:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
    }

    @XxlJob("testJobHandler2")
    public void TestJobHandler2() throws Exception {
        logger.info("TestJobHandler2");
        for (int i = 0; i < 5; i++) {
            logger.info("测试输出222:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
    }
}

2.2在调度中心添加执行器

注意：添加的执行器要与xxl.job.executor.appname 执行器名称对应，不然OnLine 机器地址无法自动注册；

在这里插入图片描述

2.3调度中心控制台界面新建对应的任务

JobHandler*与@XxlJob(value="名称")注解中value值对应

在这里插入图片描述

3.GLUE模式（Java | Shell | Python | NodeJS | PHP | PowerShell）

  • 任务以源码方式维护在调度中心，支持通过Web IDE在线更新，实时编译和生效，因此不需要指定JobHandler;
  • 源码支持Java（extends IJobHandler）、Shell脚本（#!/bin/bash）、Python脚本（#!/usr/bin/python）、NodeJS、PHP、PowerShell。
    以GLUE模式（Java）为例进行说明。

3.1新建GLUE模式任务

在这里插入图片描述

3.2在线开发任务代码

在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/242c99a1baf6

4.调度日志

在执行完调度任务后调度中心会生成每次执行的日志

在这里插入图片描述

xxl.job.executor.logpath=D:/xxl-job-executor/logs 配置的路径下也会生成日志
在这里插入图片描述

五、相关特性

1.调度中心HA（集群）

基于数据库的集群方案，数据库选用Mysql；

“调度中心”通过DB锁（select * from xxl_job_lock where lock_name = ‘schedule_lock’ for update）保证集群分布式调度的一致性,
假设同时存在调度中心A, B, C，
不同的调度中心在同一时刻仅有唯一的调度中心会获取到DB锁，
假如A获取锁成功，且A仅查询获取锁之后5秒内待触发的任务，
而其他调度中心B, C在获取锁的过程中会被阻塞，直到之前获取锁的调度中心A释放锁，
在A执行完调度释放锁后，其他的调度中心才可获取锁成功，
假如B成功获取锁（同样阻塞A, C），且B仅查询获取锁之后5秒内待触发的任务，
即通过DB锁来保证同一时刻仅有一个调度中心执行触发，且每次获取锁的调度中心会去触发不同时间段（拥有锁之后的5秒内）的任务。
具体细节可参见源码com/xxl/job/admin/core/thread/JobScheduleHelper.start()

2.调度线程池

调度采用线程池方式实现，避免单线程因阻塞而引起任务调度延迟。

  • 异步调度：调度中心每次任务触发时仅发送一次调度请求，该调度请求首先推送异步调度队列，然后异步推送给远程执行器;
  • 异步执行：执行器会将请求存入异步执行队列并且立即响应调度中心，异步运行。
  • 在全异步化的基础上，调度中心中单个JOB一次调度平均耗时基本在 10ms 之内（基本为一次请求的网络开销）；
    因此，可以保证使用有限的线程支撑大量的JOB并发运行，
    理论上默认配置下的调度中心，单机能够支撑 5000 任务并发运行稳定运行；
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
# 同一任务一分钟内超过10次调度开销在500ms以上，则使用slow线程池调度
xxl.job.triggerpool.slow.max=100

注意：实际场景中，由于调度中心与执行器网络ping延迟不同、DB读写耗时不同、任务调度密集程度不同，会导致任务量上限会上下波动。
如若需要支撑更多的任务量，可以通过 “调大调度线程数” 、”降低调度中心与执行器ping延迟” 和 “提升机器配置” 几种方式优化。

3.并行调度

  • XXL-JOB调度模块默认采用并行机制，在多线程调度的情况下，调度模块被阻塞的几率很低，大大提高了调度系统的承载量。
  • XXL-JOB的不同任务（即不同jobHandler）之间并行调度、并行执行。
  • XXL-JOB的单个任务（相同jobHandler），
  • 针对多个执行器是并行运行的，
  • 针对单个执行器是串行执行的。
  • 同时支持任务终止。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hippoDocker

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值