IO多路复用(select)

select在操作系统内部,维护了一个for循环,检测对象是否变化。select在各种平台都可使用,但效率不高。select对监听的个数是有限制的(1024)

poll与select相同,但是没有监听个数限制。由于依然是for循环,所以效率依然不高

epoll内部非for循环,而是对象发生变化后,主动告诉epoll,不用去主动监听。所以效率高。

select 

 

select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。

select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一。

select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。

另外,select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增大,其复制的开销也线性增长。同时,由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()会对所有socket进行一次线性扫描,所以这也浪费了一定的开销。

 

poll 

 

poll在1986年诞生于System V Release 3,它和select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。

poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。

另外,select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为水平触发(Level Triggered)。

 

epoll 

 

直到Linux2.6才出现了由内核直接支持的实现方法,那就是epoll,它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。

epoll可以同时支持水平触发和边缘触发(Edge Triggered,只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发),理论上边缘触发的性能要更高一些,但是代码实现相当复杂。

epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值,你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。

另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知.
selectpollepoll

python中有一个select模块,其中提供了select、poll、epoll三个方法,分别调用系统的select、poll、epoll从而实现IO多路复用。
PS:网络操作、文件操作、终端操作等均属于IO操作,对于windows只支持socket操作,其他系统支持其他IO操作,但是无法检测普通文件操作 自动上次读取是否已经变化。

句柄列表11, 句柄列表22, 句柄列表33 = select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间)

 

参数: 可接受四个参数(前三个必须)

返回值:三个列表

 

select方法用来监视文件句柄,如果句柄发生变化,则获取该句柄。

1、当 参数1 序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值1 序列中

2、当 参数2 序列中含有句柄时,则将该序列中所有的句柄添加到 返回值2 序列中

3、当 参数3 序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值3 序列中

4、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化

   当 超时时间 = 1时,那么如果监听的句柄均无任何变化,则select会阻塞 1 秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。
select方法

一下服务端的socket相比原生的socket,它支持当某个请求不再发送数据时,服务端不会等待,而是可以去处理其他请求的数据。但是,如果每个请求的耗时比较长时,select版本的服务端也无法完成同时操作。

import select, socket

sk = socket.socket()
sk.bind(('localhost', 6969))
sk.listen(5)

inputs = [sk]
outputs = []
msg_dic = {}

while True:
    # 监听sk,如果sk对象发生变化,表示有新连接了
    # 监听conn对象,如果conn发生变化,表示客户端有新消息发送过来
    rlist, wlist, elist = select.select(inputs, outputs, [], 1)
    print(len(inputs), rlist)
    for r in rlist:
        if r == sk:
            print(r)
            conn, addr = r.accept()
            conn.send('hello'.encode('utf-8'))
            inputs.append(conn)
            print(conn)
        else:
            try:
                data = r.recv(1024)
                if not data:raise Exception
                else:
                    outputs.append(r)
                    msg_dic[r] = data
            except Exception as e:
                inputs.remove(r)
                del msg_dic[r]
                print(e)
    for w in wlist:
        msg = msg_dic.get(w).decode()
        print(msg)
        w.send((msg + 'hehe').encode('utf-8'))
        outputs.remove(w)
        del msg_dic[w]
服务端
import socket

sk = socket.socket()
sk.connect(('localhost', 6969))
data = sk.recv(1024)
print(data)
while True:
    coi = input('>>:')
    if coi == 'q':break
    sk.send(coi.encode('utf-8'))
    print(sk.recv(1024).decode())
sk.close()
客户端
原文地址:https://www.cnblogs.com/caibao666/p/6813214.html