Django-celery异步原理与组件(1)

1.Celery异步介绍

1.1celery应用举例

​ 1.Celery是一个基于python开发的分布式异步消息任务队列,通过它可以轻松实现任务的异步处理,如果你的业务场景中需要用到异步任务,就可以考虑使用celery。

​ 2.你想对100台机器执行一条批量命令,可能会花很长时间,但你不想让你的程序等着结果返回,而是给你返回一个任务ID,

​ 你过一段时间只需要拿着这个任务id就可以拿到任务执行结果,在任务执行ying进行时,你可以继续做其他事。

​ 3.Celery在执行任务时,需要通过一个消息中间件来接收和发送消息,以及储存任务结果,一般使用rabbitMQ or Redis

1.2 Celery有以下优点

​ 1.简单:一旦熟悉celery的工作流程后,配置和使用还是比较简单的。

​ 2.高可用:当任务执行失败或执行过程中发生连接中断,celery会自动尝试重新执行任务。

​ 3.快速:一个单进程的celery每分钟可用处理上百万个任务。

​ 4.灵活:几乎celery的各个组件都可以被扩展及自定制。

1.3Celery基本工作流程图

​ user:用户程序,用于告知celery去执行一个任务。

​ broker:存放任务(依赖RabbitMQ或Redis,进行储存)

​ worker:执行任务。

1.4Celery特性

​ 1)方便查看定时任务的执行情况,如是否成功,当前状态,执行任务花费的时间等。

​ 2)可选多进程,Ecentlet和Gevent三种模型并发执行。

​ 3)Celery是与语言无关的,他提供了python等常见语言的接口支持。

2.Celery组件

2.1Celery扮演生产者和消费者的角色

​ Celery Beat: 任务调度器,Beat进程会读取配置文件的内容,周期性将配置中到期需要执行的任务发送给任务队列。

​ Celery Worker:执行任务的消费者,通常会在多台服务器运行多个消费者,提高运行效率。

​ Broker:消息代理,代理本身,也称为消息中间件,接受任务生产者发送过来的任务消息,存进队列,再按顺序发送给任务消费者(通常是消息队列或者数据库)

​ Producer:任务生产者,调用Celery API,函数或者装饰器,而产生任务并交给任务队列处理的都是任务生产者。

​ Result Backend:任务处理完成之后保存状态信息和结果,以供查询。

2.2Celery架构图

2.3产生任务的方式

​ 1)发布者发布任务(WEB任务)

​ 2)任务调度按期发布任务(定时任务)

2.4Celery 依赖三个库:这三个库,都由Celery的开发者开发和维护。

​ billiard :基于Python2.7的multisuprocessing而改进的库,主要用来提高性能和稳定性。

​ librabbitmp :C语言实现的Python客户端

​ kombu :Celery自带的用来收发消息的库,提供了符合Python语言习惯的,使用AMQP协议的高级接口。

原文地址:https://www.cnblogs.com/xiangnuan/p/13778880.html