分布式任务调度平台xxl-job

1,在工作中,经常会涉及到定时任务,那么定时任务的实现方式有哪些?

实现方式1:Thread类下通过sleep方法来实现定时任务的效果

                    缺点:过于简单,只能实现很简单的定时任务的逻辑,不够灵活

public class Demo01 {
    static long count = 0;
    public static void main(String[] args) {
        Runnable runnable = new Runnable() {
            @Override
            public void run() {
                while (true) {
                    try {
                        Thread.sleep(1000);
                        count++;
                        System.out.println(count);
                    } catch (Exception e) {
                    }
                }
            }
        };
        Thread thread = new Thread(runnable);
        thread.start();
    }
}

实现方式二:通过TimerTask 来实现

                     逻辑比较简单,只能实现简单的功能

package com.aiyuesheng;

import java.util.Timer;
import java.util.TimerTask;

public class Test {
    static long count = 0;

    public static void main(String[] args) {
        TimerTask timerTask = new TimerTask() {

            @Override
            public void run() {
                count++;
                System.out.println(count);
            }
        };
        Timer timer = new Timer();
        // 天数
        long delay = 0;
        // 秒数,每隔2秒来执行下定时任务
        long period = 2000;
        timer.scheduleAtFixedRate(timerTask, delay, period);
    }
}

实现方式三:ScheduledExecutorService 线程池实现方式

public class Test02 {
            public static void main(String[] args) {
                Runnable runnable = new Runnable() {
                    public void run() {
                        // task to run goes here
                        System.out.println("Hello !!");
                    }
                };
                ScheduledExecutorService service = Executors.newSingleThreadScheduledExecutor();
                // 第二个参数为首次执行的延时时间,第三个参数为定时执行的间隔时间
                service.scheduleAtFixedRate(runnable, 1, 1, TimeUnit.SECONDS);
            }
}

实现方式四:quartz 

maven 包:

<!-- quartz 定时任务 -->
        <dependency>
            <groupId>org.quartz-scheduler</groupId>
            <artifactId>quartz</artifactId>
            <version>2.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.quartz-scheduler</groupId>
            <artifactId>quartz-jobs</artifactId>
            <version>2.2.1</version>
        </dependency>

新建定时任务:

package com.aiyuesheng.quartz;

import java.util.Date;

import org.quartz.Job;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;

public class MyJob implements Job {
    @Override
    public void execute(JobExecutionContext arg0) throws JobExecutionException {
        System.out.println("quartz MyJob date:" + new Date().getTime());
    }

}

启动定时任务

package com.aiyuesheng.quartz;

import java.util.Date;

import org.quartz.CronScheduleBuilder;
import org.quartz.JobBuilder;
import org.quartz.JobDetail;
import org.quartz.Scheduler;
import org.quartz.SchedulerException;
import org.quartz.SchedulerFactory;
import org.quartz.Trigger;
import org.quartz.TriggerBuilder;
import org.quartz.impl.StdSchedulerFactory;

public class App {
    
    public static void main(String[] args) throws SchedulerException {
         //1.创建Scheduler的工厂
        SchedulerFactory sf = new StdSchedulerFactory();
        //2.从工厂中获取调度器实例
        Scheduler scheduler = sf.getScheduler();
        //3.创建JobDetail
        JobDetail jb = JobBuilder.newJob(MyJob.class)
                .withDescription("this is a ram job") //job的描述
                .withIdentity("ramJob", "ramGroup") //job 的name和group
                .build();

        //任务运行的时间,SimpleSchedle类型触发器有效
        long time=  System.currentTimeMillis() + 3*1000L; //3秒后启动任务
        Date statTime = new Date(time);

        //4.创建Trigger
            //使用SimpleScheduleBuilder或者CronScheduleBuilder
        Trigger t = TriggerBuilder.newTrigger()
                    .withDescription("")
                    .withIdentity("ramTrigger", "ramTriggerGroup")
                    //.withSchedule(SimpleScheduleBuilder.simpleSchedule())
                    .startAt(statTime)  //默认当前时间启动
                    .withSchedule(CronScheduleBuilder.cronSchedule("0/2 * * * * ?")) //两秒执行一次
                    .build();

        //5.注册任务和定时器
        scheduler.scheduleJob(jb, t);
        //6.启动 调度器
        scheduler.start();
    }
}

实现方式五:springboot 项目中通过@schedule 

//或直接指定时间间隔,例如:5秒
//@Scheduled(fixedRate=5000)

@Component
public class SecheduleJob {
    @Scheduled(cron = "0/5 * * * * ?")
    private void configureTasks() {
        System.err.println("执行静态定时任务时间: " + LocalDateTime.now());
    }
}

在集群环境下:定时任务可能会出现重复执行的情况

怎么避免定时任务重复执行?

1,可以使用zookeeper 实现分布式锁,获得锁的JVM 执行定时任务

     缺点:不易扩展,需要使用创建临时节点,事件通知,比较繁琐

2,XXLJOB 分布式调度平台

简介:

XXLJOB介绍
1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;
3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现,可保证调度中心HA;
4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;
5、任务Failover:执行器集群部署时,任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover;
6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
7、自定义任务参数:支持在线配置调度任务入参,即时生效;
8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
9、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
11、状态监控:支持实时监控任务进度;
12、Rolling执行日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
13、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
14、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
16、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
17、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
18、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
19、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
20、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python等类型脚本;
21、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
22、失败处理策略;调度失败时的处理策略,策略包括:失败告警(默认)、失败重试;
23、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发对应集群中所有执行器执行一次任务,同时传递分片参数;可根据分片参数开发分片任务;
24、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
25、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。

开源项目下载:https://github.com/xuxueli/xxl-job

文档:http://www.xuxueli.com/xxl-job/#/?id=%e4%b8%80%e3%80%81%e7%ae%80%e4%bb%8b

项目下载完成,放入到本地,解决jar包问题,之后,如下:

- /doc :文档资料

- /db :“调度数据库”建表脚本

- /xxl-job-admin :调度中心,项目源码

- /xxl-job-core :公共Jar依赖

- /xxl-job-executor-samples :执行器,Sample示例项目(大家可以在该项目上进行开发,也可以将现有项目改造生成执行器项目)

第一步:将xxl-job-master 里面的sql 执行到mysql 数据库

第二步:配置xxl-job-admin (job 注册中心)

### xxl-job db  (use &amp; replace & in xml)
xxl.job.db.driverClass=com.mysql.jdbc.Driver
xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8
xxl.job.db.user=root
xxl.job.db.password=123456

### xxl-job email
xxl.job.mail.host=smtp.qq.com
xxl.job.mail.port=25
xxl.job.mail.ssl=false
xxl.job.mail.username=12222240325@qq.com
xxl.job.mail.password=tusupjsyygechdbb  
xxl.job.mail.sendNick=《任务调度平台XXL-JOB》

### xxl-job login
xxl.job.login.username=admin
xxl.job.login.password=123456

### xxl-job, access token
xxl.job.accessToken=

### xxl-job, i18n (default empty as chinese, "en" as english)
xxl.job.i18n=
xxl.job.mail.password 是邮件的授权码,不是密码

第三步:配置完成之后,放到tomcat 运行,启动,打开页面

在执行器管理界新增执行器:执行器:代表了这个job 真实的服务器,比如一个springboot 定时任务,里面会有一个内嵌的服务,就是执行器,端口默认9999,springboot 项目启动,会将服务信息注册到xxl-admin 容器,xxl-admin 页面执行任务,分发给这个执行器,会找到这个springboot 服务,然后开始执行

新建执行任务:指定哪个执行器,jobHandler,执行事件,路由策略等

路由策略:第一台(指定第一台机器执行)

                  轮询(轮询机制)

                  分片广播:任务场景:10个执行器的集群来处理10w条数据,每台机器只需要处理1w条数据,耗时降低10倍;

 

第四部:新建springboot job

# web port
server.port=8081

# log config
logging.config=classpath:logback.xml


### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### xxl-job executor address
xxl.job.executor.appname=aiyuesheng-job
xxl.job.executor.ip=
xxl.job.executor.port=9999

### xxl-job, access token
xxl.job.accessToken=

### xxl-job log path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1

Job 逻辑 @JobHandler(value = "demoJobHandler") 是和执行任务里面的JobHandler 相对应

@JobHandler(value = "demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler {
    @Value("${xxl.job.executor.port}")
    private String executorPort;

    // @JobHandler 底层实现 value demoJobHandler 名称 对应存放类的class地址
    // com.xxl.job.executor.service.jobhandler 在使用反射机制 执行execute
    // 目的是为了反射统一执行方法
    @Override
    public ReturnT<String> execute(String param) throws Exception {
        // 任务调度执行地址
        int i = 1/0;
        System.out.println("####DemoJobHandler####execute()执行 executorPort:" + executorPort);
        return SUCCESS;
    }

}

调度中心集群

如果要配置集群的话,采用Nginx 做负载均衡就可以
调度中心支持集群部署,提升调度系统容灾和可用性。
调度中心集群部署时,几点要求和建议:

DB配置保持一致;

登陆账号配置保持一致;

群机器时钟保持一致(单机集群忽视);

建议:推荐通过nginx为调度中心集群做负载均衡,分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。

原文地址:https://www.cnblogs.com/pickKnow/p/11346621.html