Python菜鸟之路:Python基础-Python操作RabbitMQ

RabbitMQ简介

  rabbitmq中文翻译的话,主要还是mq字母上:Message Queue,即消息队列的意思。rabbitmq服务类似于mysql、apache服务,只是提供的功能不一样。rabbimq是用来提供发送消息的服务,可以用在不同的应用程序之间进行通信。

Python操作RabbitMQ

操作准备:安装API

pip install pika

简单的发送与接收案例

  对于RabbitMQ来说,生产和消费不再针对内存里的一个Queue对象,而是某台服务器上的RabbitMQ Server实现的消息队列。

* > 生产者代码

import pika

# ######################### 生产者 #########################
# 连接到rabbitmq服务器
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()
# 声明消息队列,消息将在这个队列中进行传递。如果将消息发送到不存在的队列,rabbitmq将会自动清除这些消息。如果队列不存在,则创建
channel.queue_declare(queue='wzg')
# 发送消息到上面声明的'wzg'队列,其中exchange表示交换器,能精确指定消息应该发送到哪个队列(有指定的队列可以不进行配置),routing_key设置为队列的名称,body就是发送的内容
channel.basic_publish(exchange='',
                      routing_key='wzg',
                      body='Hello World!')
print(" [x] Sent 'Hello World!'")
# 关闭连接
connection.close()

* > 消费者代码

import pika
# ########################## 消费者 ##########################
# 连接到rabbitmq服务器
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()

# 声明消息队列,消息将在这个队列中进行传递。如果队列不存在,则创建
channel.queue_declare(queue='wzg')

# 定义一个回调函数来处理,这边的回调函数就是将信息打印出来。
def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)

# 告诉rabbitmq使用callback来接收信息
channel.basic_consume(callback,
                      queue='wzg',
                      no_ack=True) # no_ack=True表示在回调函数中不需要发送确认标识

print(' [*] Waiting for messages. To exit press CTRL+C')

# 开始接收信息,并进入阻塞状态,队列里有信息才会调用callback进行处理。按ctrl+c退出。
channel.start_consuming()

上述代码中的知识点1:消息确认(Message acknowledgment)

  生效方法:channel.basic_consume(consumer_callback, queue, no_ack=False, exclusive=False, consumer_tag=None, arguments=None)  

  即no_ack=False(默认为False,即必须有确认标识),在回调函数consumer_callback中,未收到确认标识,那么,RabbitMQ会重新将该任务添加到队列中。

import pika
# ########################## 消费者 ##########################
# 连接到rabbitmq服务器
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()
# 声明消息队列,消息将在这个队列中进行传递
channel.queue_declare(queue='wzg')

# 定义一个回调函数来处理,这边的回调函数就是将信息打印出来。
def callback(ch, method, properties, body):

    print(" [x] Received %r" % body)
    exit() # 在这里exit,就会中断发送确认标识,可以用来测试消息确认功能
    ch.basic_ack(delivery_tag=method.delivery_tag)

# 告诉rabbitmq使用callback来接收信息
channel.basic_consume(callback,
                      queue='wzg',
                      no_ack=False) # no_ack=False表示在回调函数中必须发送确认标识,否则认为任务异常,会被重新添加到队列中

print(' [*] Waiting for messages. To exit press CTRL+C')

# 开始接收信息,并进入阻塞状态,队列里有信息才会调用callback进行处理。按ctrl+c退出。
channel.start_consuming()

上述代码中的知识点2:消息持久化存储(Message durability)

  虽然有了消息反馈机制,但是如果rabbitmq自身挂掉的话,那么任务还是会丢失。所以需要将任务持久化存储起来。声明持久化存储

channel.queue_declare(queue='wzg', durable=True) # 声明持久化

   Ps: 但是这样程序会执行错误,因为‘wzg’这个队列已经存在,并且是非持久化的,rabbitmq不允许使用不同的参数来重新定义存在的队列。因此需要重新定义一个队列

channel.queue_declare(queue='test_queue', durable=True) # 声明持久化

注意:如果仅仅是设置了队列的持久化,仅队列本身可以在rabbit-server宕机后保留,队列中的信息依然会丢失,如果想让队列中的信息或者任务保留,还需要做以下设置:

channel.basic_publish(exchange='',
                      routing_key="test_queue",
                      body=message,
                      properties=pika.BasicProperties(
                         delivery_mode = 2, # 使消息或任务也持久化存储
                      ))

消息队列持久化包括3个部分:
  (1)exchange持久化,在声明时指定durable => 1
  (2)queue持久化,在声明时指定durable => 1
  (3)消息持久化,在投递时指定delivery_mode=> 2(1是非持久化)

如果exchange和queue都是持久化的,那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化,一个非持久化,就不允许建立绑定。

上述代码中的知识点3:公平调度(Fair dispatch)

  上面实例中,虽然每个工作者是依次分配到任务,但是每个任务不一定一样。可能有的任务比较重,执行时间比较久;有的任务比较轻,执行时间比较短。如果能公平调度就最好了,使用basic_qos设置prefetch_count=1,使得rabbitmq不会在同一时间给工作者分配多个任务,即只有工作者完成任务之后,才会再次接收到任务。

channel.basic_qos(prefetch_count=1) # 在消费者中进行设置

发布与订阅

  RabbitMQ的发布与订阅,借助于交换机(Exchange)来实现。

  交换机的工作原理:消息发送端先将消息发送给交换机,交换机再将消息发送到绑定的消息队列,而后每个接收端(consumer)都能从各自的消息队列里接收到信息。

            

  Exchange有三种工作模式,分别为:Fanout, Direct, Topic

模式1:Fanout

  任何发送到Fanout Exchange的消息都会被转发到与该Exchange绑定(Binding)的所有Queue上
  1.可以理解为路由表的模式
  2.这种模式不需要routing_key(即使指定,也是无效的)
  3.这种模式需要提前将Exchange与Queue进行绑定,一个Exchange可以绑定多个Queue,一个Queue可以同多个Exchange进行绑定。
  4.如果接受到消息的Exchange没有与任何Queue绑定,则消息会被抛弃。

  注意:这个时候必须先启动消费者,即订阅者。因为随机队列是在consumer启动的时候随机生成的,并且进行绑定的。producer仅仅是发送至exchange,并不直接与随机队列进行通信。

* > 生产者代码

# rabbitmq 发布者
import pika
# 创建连接
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()
# 定义交换机,exchange表示交换机名称,type表示类型
channel.exchange_declare(exchange='logs_fanout',
                         type='fanout')

message = 'Hello Python'
# 将消息发送到交换机
channel.basic_publish(exchange='logs_fanout', # 指定exchange
                      routing_key='', # fanout下不需要配置,配置了也不会生效
                      body=message)
print(" [x] Sent %r" % message)
connection.close()

* > 消费者代码

#  rabbitmq 订阅者
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()

# 定义交换机,进行exchange声明,exchange表示交换机名称,type表示类型
channel.exchange_declare(exchange='logs_fanout',
                         type='fanout')

# 随机创建队列
result = channel.queue_declare(exclusive=True) # exclusive=True表示建立临时队列,当consumer关闭后,该队列就会被删除
queue_name = result.method.queue
# 将队列与exchange进行绑定
channel.queue_bind(exchange='logs_fanout',
                   queue=queue_name)

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r" % body)
# 从队列获取信息
channel.basic_consume(callback,
                      queue=queue_name,
                      no_ack=True)

channel.start_consuming()

  

 模式2:Direct

           

  路由键的工作原理:每个接收端的消息队列在绑定交换机的时候,可以设定相应的路由键。发送端通过交换机发送信息时,可以指明路由键 ,交换机会根据路由键把消息发送到相应的消息队列,这样接收端就能接收到消息了。  

  任何发送到Direct Exchange的消息都会被转发到routing_key中指定的Queue:
  1.一般情况可以使用rabbitMQ自带的Exchange:””  (该Exchange的名字为空字符串), 也可以自定义Exchange   
  2.这种模式下不需要将Exchange进行任何绑定(bind)操作。当然也可以进行绑定。可以将不同的routing_key与不同的queue进行绑定,不同的queue与不同exchange进行绑定
  3.消息传递时需要一个“routing_key”
  4.如果消息中中不存在routing_key中绑定的队列名,则该消息会被抛弃。
  如果一个exchange 声明为direct,并且bind中指定了routing_key,那么发送消息时需要同时指明该exchange和routing_key.

 * > 消费者代码

# 消费者
import pika
# 建立连接
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()
# 定义exchange和类型
channel.exchange_declare(exchange='direct_test',
                         type='direct')

# 生成随机队列
result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue
severities = ['error',]
# 将随机队列与routing_key关键字以及exchange进行绑定
for severity in severities:
    channel.queue_bind(exchange='direct_test',
                       queue=queue_name,
                       routing_key=severity)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
    print(" [x] %r:%r" % (method.routing_key, body))
# 接收消息
channel.basic_consume(callback,
                      queue=queue_name,
                      no_ack=True)
channel.start_consuming()

* > 生产者代码

# 发布者
import pika
# 建立连接
connection = pika.BlockingConnection(pika.ConnectionParameters(
        host='172.25.50.13'))
channel = connection.channel()
# 定义交换机名称及类型
channel.exchange_declare(exchange='direct_test',
                         type='direct')

severity = 'info'
message = '123'
# 发布消息至交换机direct_test,且发布的消息携带的关键字routing_key是info
channel.basic_publish(exchange='direct_test',
                      routing_key=severity,
                      body=message)
print(" [x] Sent %r:%r" % (severity, message))
connection.close()

  当接收端正在运行时,可以使用rabbitmqctl list_bindings来查看绑定情况。

 模式3:Topic

                 

   路由键模糊匹配,其实是路由键(routing_key)的扩展,就是可以使用正则表达式,和常用的正则表示式不同,这里的话“#”表示所有、全部的意思;“*”只匹配到一个词。

  任何发送到Topic Exchange的消息都会被转发到所有关心routing_key中指定话题的Queue上
  1.这种模式较为复杂,简单来说,就是每个队列都有其关心的主题,所有的消息都带有一个“标题”(routing_key),Exchange会将消息转发到所有关注主题能与  routing_key模糊匹配的队列。
  2.这种模式需要routing_key,也许要提前绑定Exchange与Queue。
  3.在进行绑定时,要提供一个该队列关心的主题,如“#.log.#”表示该队列关心所有涉及log的消息(一个routing_key为”MQ.log.error”的消息会被转发到该队列)。
  4.“#”表示0个或若干个关键字,“*”表示一个关键字。如“log.*”能与“log.warn”匹配,无法与“log.warn.timeout”匹配;但是“log.#”能与上述两者匹配。
  5.同样,如果Exchange没有发现能够与routing_key匹配的Queue,则会抛弃此消息。

  具体代码这里不在多余写,参照第二种模式的就可以,唯一变动的地方就是exchange type的声明,以及进行绑定和发送的时候routing_key使用正则模式即可。

  至此,利用Python操作RabbitMQ,以及一些简单用法,在这里介绍完毕。如有错误,请指正!

原文地址:https://www.cnblogs.com/jishuweiwang/p/5713783.html