django使用celery实现异步操作

需求:

    django支持的http请求都是同步的,对于需要耗时较长的操作可能会导致阻塞。为此我们需要引入异步处理机制,即收到客户端请求后立即给予响应,具体任务交给另一个进程处理。

使用方法:

       1. 安装软件

           pip install celery

           pip install django-celery

        2. 在django项目(设为djprj)添加以下文件:

            1) djprj/djprj/celery.py,内容如下:

[python] view plain copy
 
  1. from __future__ import absolute_import  
  2.   
  3. import os  
  4.   
  5. from celery import Celery  
  6.   
  7. # set the default Django settings module for the 'celery' program.  
  8. os.environ.setdefault('DJANGO_SETTINGS_MODULE','djprj.settings')  
  9.   
  10. from django.conf import settings  
  11.   
  12. app = Celery('djprj', backend='redis', broker='redis://127.0.0.1:6379/0')  
  13.   
  14. # Using a string here means the worker will not have to  
  15. # pickle the object when using Windows.  
  16. app.config_from_object('django.conf:settings')  
  17. app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)  

    2) 修改djprj/djprj/__init__.py文件,加入以下内容:

[python] view plain copy
 
  1. from __future__ import absolute_import  
  2.   
  3. # This will make sure the app is always imported when  
  4. # Django starts so that shared_task will use this app.  
  5. from .celery import app as celery_app  
    3) 在djprj项目中需要异步处理的app中加入tasks.py文件。

    内容如下:

[python] view plain copy
 
  1. # -*- coding: utf-8 -*-  
  2. # 本模块定义了celery任务  
  3. from __future__ import absolute_import  
  4. import logging  
  5. from celery import shared_task  
  6.  
  7. @shared_task  
  8. def add(x, y):  
  9.     log = logging.getLogger(config.HC_ASVR_LOG_NAME_TRACK)  
  10.     log.debug("Enter celery task tk2.tasks.add()")  
  11.     return x + y  

    4) 尝试启动celery

    celery -A djprj worker --loglevel=info --workdir=/path/to/djprj --logfile=/path/to/logfile

    如果执行成功,则将其加入到supervisord配置文件,运行于守护进程模式。

 参考博客http://blog.csdn.net/yuanchao99/article/details/46413651

原文地址:https://www.cnblogs.com/1204guo/p/8056648.html