并发编程--greenlet与gevent

什么是greenlet?

虽然CPython（标准Python）能够通过生成器来实现协程，但使用起来还并不是很方便。

与此同时，Python的一个衍生版 Stackless Python实现了原生的协程，它更利于使用。

于是，大家开始将 Stackless 中关于协程的代码单独拿出来做成了CPython的扩展包。

这就是 greenlet 的由来，因此 greenlet 是底层实现了原生协程的 C扩展库

greenlet的基本使用

# 基于greenlet的生产者消费者协程
from greenlet import greenlet
import random
import time

def Producer():
    while True:
        item = random.randint(1, 10)
        print("生产<{}>中...".format(item))
        time.sleep(1)
        c.switch(item)  # 切换到消费者，并将item传入。


def Consumer():
    while True:
        item = p.switch()  # 切换到生产者。等待生产者传递参数item
        print("消费<{}>中..".format(item))

c = greenlet(Consumer)  # 将普通函数编程协程
p = greenlet(Producer)  # 同理
c.switch()  # 启动协程，Consumer先执行
"""
从consumer开始执行，执行到item=p.switch()时，程序切换到producer，并等待传参
producer得到执行权后，生成一个item,并往下执行代码
当producer执行到c.switch(item)时，程序携带传递的item切换到consumer,
consumer继续往下执行，直到下一次运行到p.switch时，交出执行权，切换到producer，重复以上过程


greenlet的价值在于高性能的原生协程，
且语义更加明确、显示切换
执行到switch时就切换程序
直接将函数包装成协程，可以保留原代码的风格
"""

什么是gevent?

虽然，我们有了基于 epoll 的回调式编程模式，但是却难以使用。即使我们可以通过配合生成器协程进行复杂的封装，以简化编程难度。
但是仍然有一个大的问题：封装难度大，现有代码几乎完全要重写gevent，通过封装了 libev（基于epoll）和 greenlet 两个库。
帮我们做好封装，允许我们以类似于线程的方式使用协程。以至于我们几乎不用重写原来的代码就能充分利用 epoll 和协程威力。

gevent的常用操作

"""
gevent: 通过greenlet实现协程，核心就是遇到IO操作，会自动切换到其他协程

"""
# 将python标准库中的一些阻塞操作变为非阻塞
from gevent import monkey;monkey.patch_all()
# 使用猴子补丁要写在第一行
import gevent

def test1():
    print("test1")
    gevent.sleep(0)  # 模拟耗时操作
    print("test11")

def test2():
    print("test2")
    gevent.sleep(0)  # 模拟耗时操作
    print("test22")

# g1 = gevent.spawn(test1)  # 将函数封装成协程，并启动
# g2 = gevent.spawn(test2)
# gevent.joinall([g1, g2])

"""
# joinall() 阻塞当前流程，执行给定的greenlet(列表中的对象),等待程序执行完
# spawn是启动协程，参数为函数名及其参数

运行结果：
test1
test2
test11
test22

代码执行test1,打印test1，遇到gevent.sleep(0)时切换程序，执行test2
test()执行，打印test2，执行到gevent.sleep(0)时切换程序
执行test1在gevent.sleep(0)后面的代码，直到再次遇到gevent时，切换程序
然后在test2中，继续执行gevent后的代码，直到遇到gevent时，再次切换
直到程序执行完毕

gevent的价值在于它的使用基于epoll的libev来避开阻塞；
使用基于gevent的高效协程，来切换执行
只在遇到阻塞的时候切换，没有轮询和线程开销
"""

基于gevent的并发服务器

# 基于gevent的并发服务器实现
import gevent
# 将python内置的socket换成封装了IO多路复用的socket
from  gevent import monkey;monkey.patch_all()
import socket

# 实例化socket
server = socket.socket()
# 绑定ip和端口
server.bind(('0.0.0.0', 8000))
# 绑定监听数量
server.listen(1000)

def worker(connection):
    """
    协程需要处理的事情
    :param connection:
    :return:
    """
    while True:
        recv_data = connection.recv(1024)  # 等待接收数据
        if recv_data:
            print(recv_data)
            connection.send(recv_data)  # 将接收的数据原路返回
        else:
            connection.close()  # 发送完毕断开
            break

while True:
    conn, addr = server.accept()  # 等待客户端连接，遇到阻塞切换
    gevent.spawn(worker, conn)  # 生成协程，并将conn作为参数传入

gevent的通信

# gevent通信
import time
import random

from gevent import monkey;monkey.patch_all()
import gevent
from gevent.queue import Queue

def write(q):
    while True:
        print("put:{}".format('text'))
        q.put('text')
        gevent.sleep(0)  # 模拟阻塞

def read(q):
    while True:
        print("get:{}".format(q.get()))  # get本身是阻塞

# q = Queue()
# w = gevent.spawn(write, q)  # 遇到阻塞自动切换
# r = gevent.spawn(read, q)
# gevent.joinall([w, r])