IO
模型就是解决某个问题的套路
网络IO的俩个阶段
IO问题:
输入输出
阻塞IO模型
我用一个用户名用来执行登陆操作,问题用户名需要用户输入,输入需要耗时, 如果输入没有完成,后续逻辑无法继续,所以默认的处理方式就是 等
将当前进程阻塞住,切换至其他进程执行,等到按下回车键,拿到了一个用户名,再唤醒刚才的进程,将状态调整为就绪态
以上处理方案 就称之为阻塞IO模型
存在的问题:
当执行到recv时,如果对象并没有发送数据,程序阻塞了,无法执行其他任务
解决方案:
多线程或多进程,
当客户端并发量非常大的时候,服务器可能就无法开启新的线程或进程,如果不对数量加以限制 服务器就崩溃了
线程池或进程池
首先限制了数量 保证服务器正常运行,但是问题是,如果客户端都处于阻塞状态,这些线程也阻塞了
协程:
使用一个线程处理所有客户端,当一个客户端处于阻塞状态时可以切换至其他客户端任务
非阻塞IO模型
阻塞IO模型在执行recv 和 accept 时 都需要经历wait_data
非阻塞IO即 在执行recv 和accept时 不会阻塞 可以继续往下执行
如何使用:
将server的blocking设置为False 即设置非阻塞
存在的问题 :
这样一来 你的进程 效率 非常高 没有任何的阻塞
很多情况下 并没有数据需要处理,但是我们的进程也需要不停的询问操作系统 会导致CPU占用过高
而且是无意义的占用
案例:
服务器
import socket
import time
server = socket.socket()
server.bind(("192.168.13.103",1688))
server.listen()
server.setblocking(False) # 默认为阻塞 设置为False 表示非阻塞
# 用来存储客户端的列表
clients = []
# 连接客户端的循环
while True:
try:
client,addr = server.accept() # 接受三次握手信息
# print("来了一个客户端了.... %s" % addr[1])
# 有人链接成功了
clients.append(client)
except BlockingIOError as e:
# print("还没有人连过来.....")
# time.sleep(0.5)
# 服务你的客人去
for c in clients[:]:
try: # 可能这个客户端还没有数据过来
# 开始通讯任务
data = c.recv(2048)
c.send(data.upper())
except BlockingIOError as e:
print("这个客户端还不需要处理.....",)
except ConnectionResetError:
# 断开后删除这个客户端
clients.remove(c)
print(len(clients))
客户端
import socket
client = socket.socket()
client.connect(('127.0.0.1',1266))
while True:
msg = input('msg')
if not msg:
continue
client.send(msg.encode('utf-8'))
print(client.recv(2048).decode('utf-8'))
select多路复用
多路指的是:多个socket对象 一个socket就是一个传输通道
复用:意思是指使用同一个线程处理所有socket
原理:
在非阻塞IO模型中我们需要自己不断的询问操作系统是否有数据需要处理
多路复用,使用select来监测是否有socket可以被使用
服务器
import socket
import select
server = socket.socket()
server.bind(('127.0.0.1', 1688))
server.listen()
# select最多检测1024个socket,超出直接报错,这是socket自身的问题,最终解决方案epoll
rlist = [server] # 将需要检测(是否可读recv)的socket对象放到该列表中
# accept也是一个读数据的操作,默认也会阻塞,也需要select检测
wlist = [] # 将需要检测(是否可写send)的socket对象放到该列表中
msgs = []
while True:
r_list, w_list, _ = select.select(rlist, wlist, []) # 会阻塞,等到有一个或者多个socket,可以被处理
print(r_list, w_list)
for soc in r_list:
if soc == server:
client, addr = server.accept()
rlist.append(client)
else:
try:
data = soc.recv(2048)
if not data:
soc.close()
rlist.remove(soc)
continue
msgs.append((soc,data))
except ConnectionResetError as e:
soc.close()
rlist.remove(soc)
print('这个客户端下线')
# client.recv()
for soc in w_list:
for i in msgs[:]:
if i[0] == soc:
soc.send(i[1])
msgs.remove(i)
wlist.remove(soc)
优点：
使用select() 的事件驱动模型只用单线程（进程）执行，占用资源少，不消耗太多 CPU，同时能够为多客户端提供服务。
缺点：
因为当需要探测的句柄值较大时，select()接口本身需要消耗大量时间去轮询各个句柄