twisted是python实现的基于事件驱动的异步网络通信构架。

网:https://twistedmatrix.com/trac/

http://www.cnblogs.com/wy-wangyan/p/5252271.html

What is Twisted?

Twisted is an event-driven networking engine written in Python and licensed under the open source ​MIT license. Twisted runs on Python 2 and an ever growing subset also works with Python 3.

twisted是python实现的基于事件驱动的异步网络通信构架。可以在官网上在线浏览twisted的源码,也有svn可以自行下载,源码还是比较清晰易懂的。接下来的代码或者例子,文档很多都来源于官网介绍。

第一个问题是为什么项目叫twisted?   我的理解是由于构成twisted的主要构件deferred list, 有两个回调链,如图所示,回调链每一项包含一个(callback,errback)对。twisted按照回调链从第一个callback开始执行,如果出错执行下一个回调函数对应的errback,如果执行成功,再回到下下个callback继续执行。是不是很twisted?

deferred中的控制流程

第二个问题是什么是基于事件驱动的异步网络框架? 

我们写过网络通信程序的都熟悉socket, 都知道select/poll/epoll这些网络多路复用程序,都对应着读或者写操作,twisted的构成中包含一个reacotor的东东,就是很多异步事件框架都有的概念反应堆模式,这是个单例模式,同一时间内只有一个reactor在运行。reactor.run(), 我们说的基于事件就是这样的一个事件循环,twisted等待事件就绪,然后调用回调函数,返回结果。当然它是基于select/poll/epoll的输入输出(读、写)事件。

reactor启用回调

关于反应堆模式: 请移步这里,这个大牛的翻译:http://www.cnblogs.com/pugang/p/4621373.html

那么什么又是异步? 同样的,我们知道网络通信有几个模式,在各种面试中也或有问到,关于同步,异步,阻塞,非阻塞的区别。

关于这个解释的文章很多,权威的请参考《unix网络编程》中关于unix网络i/o模式的描述。说说我自己的理解,在Linux中所有都是文件,socket当然也是,网络i/o是i/o的一种嘛。我们的应用程序也要包含两部分的内容,一个是用户态一个是内核态的内核调用。网络i/o包含了两部分的内容:

1. 应用程序陷入内核态等待数据就绪

2. 将数据从内核空间复制到用户空间。

阻塞就是在这两个阶段都在等待,都被block了,一直等待内核的返回。

非阻塞就是我们熟悉的socket.setblocking(0),或者fnctl设置的非阻塞flag;它只是在第二个阶段阻塞了,在一个阶段,应用程序知道数据未准备好后,立刻返回错误码EAGAIN/EWOULDBLOCK,知道数据准备结束,复制完毕后返回。

同步指的是等待I/O操作的完成。

异步指的是不必等待I/O操作完成,直接返回,等到第二阶段完成后,内核主动通知进程结束。

所以你说区别,我觉得就是阻塞/非阻塞对应的是一个当前的一个状态,同步/异步着眼于整个大局或操作。

我们今天是要说事件驱动的,前面说了我们依赖于select/poll/epoll,他们都是网络多路复用i/o,用了它们不需要再建多线程,线程池这些东西就能同时监控多个fd。有人叫它们异步(同步)非阻塞I/0, 但是从实际上来说,他们也是同步阻塞的,select/poll/epoll阻塞在select(), epoll.wait()这些函数中,等到数据就绪,然后开始第一个阶段,然后第二个阶段,在第二个阶段中也是I/O阻塞的嘛,所以说它们阻塞在了两个地方,而且需要等待I/O操作的完成。那到底有没有异步I/O,异步I/O需要操作系统底层的支持,目前好像还没有满意的异步I/O,有一些实现也是基于线程/线程池模拟实现。

那twisted既然用到了select/poll/epoll,它为什么叫基于事件的异步框架。因为它模式了异步I/O,它使用reactor模式处理事件循环,使用deferred处理回调函数,用户可以自己写一个回调函数,然后放到deferred list中,twsited会在事件通知就绪后调用这些回调函数,执行完毕,返回结果。看,是不是异步I/O。其它的一些基于事件的异步框架,像java的netty也是这样模拟的。

今天写到这里,下一篇准备分析select/epoll这些多路复用I/O,再从socket/epoll的例子入手,开始twisted的讲解。有错误之处,敬请指正,共同学习

原文地址:https://www.cnblogs.com/Leo_wl/p/5264329.html