定时任务框架【Quartz、xxl-job、elastic-job】

一、项目目前定时任务现状

  1. 使用Linux系统的crontab直接调用Java服务
  2. 优缺点:
  • 优点:部署简单,由linux系统维护相对Java进程维护更加维定
  • 缺点:单机部署,风险大;出问题后排错难度大;需要运维介入成本大
  • 总结:针对目前项目情况,弊大于利

二、Java主流三大定时任务框架优缺点

选型时原则:

少服务器 后期维护方便 增加任务省事 而且快捷 不涉及启停服务

Quartz

  1. 优点:支持集群部署
  2. 缺点:没有自带的管理界面;调度逻辑和执行任务耦合在一起;维护需要重启服务
  3. 总结:针对目前项目情况,利弊相同

xxl-job

  1. 优点:支持集群部署;提供运维界面维护成本小;自带错误预警;相对elastic-job来说不需要额外的组件(zookeeper);支持调度策略;支持分片; 故障转移 ;更适合分布式
  2. 缺点:相对Quartz来说需要多部署调度中心
  3. 总结:针对目前项目情况,利大于弊

elastic-job

  1. 优点:支持集群部署;维护成本小
  2. 缺点:elastic-job需要zookeeper,zookeeper集群高可用至少需要三台服务器
  3. 总结:针对目前项目情况,弊大于利

小结:

综合选型原则及三个定时任务框架的优缺点和目前项目的状况,建议选用xxl-job

三、xxl-job一些特性

  1. xxl-job参考资料: http://www.cnblogs.com/xuxueli/p/5021979.html
  2. 一些实用特性:       

           (1)执行失败可以查看日志

(2)支持邮件报警

(3)路由策略支持轮询等策略,可以减轻执行服务器的压力

(4)轮询时间等参数修改后立即生效

 (5)执行器有问题或新增,快速识别

(6)调度中心高可用,调度中心可以集群部署(集群部署的机器时钟必须同步),如果调度中心没有做负载在执行器的配置中需要配多个地址,如果调度中心配置负载则执行器配置负载地址即可

(7)执行器高可用(执行器可以集群部署)

四、针对项目目前定时任务的选用策略建议

  1. 目前项目的所有定时任务(和运维亚光确认)共8个
  2. 不同定时任务策略的建议

           (1)结算相关

    a.罚息定时任务(wf-job-practical)

      路由策略:轮询

                      阻塞处理:单机串行

                      失败处理:失败告警

     b.结清定时任务(wf-job-settlement)

      路由策略:轮询

                     阻塞处理:单机串行

                     失败处理:失败告警

      (2)  短信相关

     a. 短信发送定时任务(wf-sms-send-job)

      路由策略:轮询

                      阻塞处理:丢弃后续调度

                      失败处理:失败告警

     b.短信业务定时任务(wf-sms-write-job)

      路由策略:轮询

                      阻塞处理:单机串行

                      失败处理:失败告警

    c.短信数据清理定时任务(wf-sms-cleardata-job)

      路由策略:轮询

                      阻塞处理:单机串行

                      失败处理:失败告警

    (3).报表相关

    a.风控定时任务wf-bi-risk-job

      路由策略:轮询

                      阻塞处理:单机串行

                      失败处理:失败告警

    b. wf-bi-market-job

      路由策略:轮询

                      阻塞处理:单机串行

                      失败处理:失败告警

    c.wf-bi-job

       路由策略:轮询

                       阻塞处理:单机串行

                       失败处理:失败告警

五、项目中加入xxl-job结合

  1. 说明:以下Demo以短信发送服务定时任务(wf-sms-send-job)为例
  2. 建议:执行器根据不同的模块建立工程(既方便统一部署又方便升级维护),比如:结算的定时任务可以组成一个工程;短信定时任务可以组成一个工程等
  3. 项目中增加xxl-job

(1)在pom中增加依赖

<dependency>
     <groupId>com.xuxueli</groupId>
     <artifactId>xxl-job-core</artifactId>
     <version>2.3.0</version>
</dependency>

<dependency>
      <groupId>com.xuxueli</groupId>
      <artifactId>xxl-job-executor-sample-frameless</artifactId>
      <version>2.3.0</version>
</dependency>

(2)application.yml增加相关配置

xxl:
  job:
    admin:
      addresses: http://localhost:8888/xxl-job-admin
    executor:
      ip:
      port: 9999
      logpath: /data/applogs/xxl-job/jobhandler
      appname: demo-job
    accessToken:

(3)增加configpackage com.example.demo.xxljob;

package com.example.demo.xxljob;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    private int logRetentionDays=-1;

//    @Bean(initMethod = "start", destroyMethod = "destroy")
    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        System.out.println(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
}

  

(4)增加执行器

package com.example.demo.xxljob;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import com.xxl.job.core.log.XxlJobLogger;
import com.xxl.job.executor.sample.frameless.jobhandler.SampleXxlJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;


/**
 * XxlJob开发示例
 */
@Component
public class SampleXxlJobPools {
    private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);

    @XxlJob(value = "testJobHandler", init = "init", destroy = "destroy")
    public ReturnT<String> demoJobHandler(String param) throws Exception {
        XxlJobLogger.log("执行定时任务");
        return ReturnT.SUCCESS;
    }

    public void init() {
        logger.info("testJobHandler init");
    }

    public void destroy() {
        logger.info("testJobHandler destory");
    }
}

  启动项目

 查看任务调度中心-执行器管理-OnLine 机器地址,已在线说明运行成功 

原文地址:https://www.cnblogs.com/wangdahui/p/14459790.html