Python异步编程
前言
现在是 Python3.5 以后已经进入异步时代
Python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了Python性能方面的短板.
-
python3.0时代，标准库里的异步网络模块：select(非常底层)
-
python3.0时代，第三方异步网络库：Tornado
-
python3.4时代，asyncio：支持TCP,子进程.直接内置了对异步IO的支持。
现有的python 异步框架
- tornado、fasapi 、djanao-3.0 asgi、aiohttp 等等等。。。
python 中的主流django框架都在 往异步靠拢 不得不说 要进入异步的时代了 ，而我还不会异步编程那就可悲了。
核心重点 异步编程 来提高性能。
主要以 这以下三点来聊：
- 协程
- asyncio模块进行异步编程
- 实战案例
协程
协程不是计算机提供的,计算机提供了进程和线程的概念，而协程是我们程序员人为。也叫微线程，用户态上下文切换的一种技术。
通过一个线程去代码之间游走切换之间去运行。
例如:
普通的执行
def func1():
print(1)
print(2)
def func(2):
print(3)
print(4)
func1()
func2()
结果：
1
2
3
4
实现协程
- greenlet ,早期模块
- yield 关键字
- asynico 装饰器(py.34)
- asny、await 关键字(py3.5)[官方推荐]
greenlet实现协程
下载
pip3 install greenlet
from greenlet import greenlet
def func1():
print(1) # 第2步 输出1
gr2.switch() # 第3步 切换到 func2 函数执行
print(2) # 第6步 输出2
gr2.switch() # 第7步 切换到 func2 函数执行
def func2():
print(3) # 第4步 输出3
gr1.switch() # 第5步 切换到 func1 函数执行
print(4) # 第8步 输出4
gr1 = greenlet(func1)
gr2 = greenlet(func2)
gr1.switch() # 第1步：去执行func1 函数
结果:
1
3
2
4
yield 关键字
def func1():
yield 1
yield from func2()
yield 2
def func2():
yield 3
yield 4
f1 = func1()
for item in f1:
print(item)
结果
1
3
2
4
yeild 这个实现的 了解即可
重头戏 asyncio
必须在python3.4及之后的版本才能用
import asyncio
@asyncio.coroutine
def func1():
print(1)
# 现在我用得失 sleep(2) 我要是换成 网络请求 意义就比重大了
yield from asyncio.sleep(2) # 遇到IO耗时操作，自动化切换到tasks中的其他任务
print(2)
@asyncio.coroutine
def func2():
print(3)
yield from asyncio.sleep(2)
print(4)
tasks = [
asyncio.ensure_future(func1()),
asyncio.ensure_future(func2())
]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
# 本来 应该等待 4 秒 执行时间其实也就是1秒 没有等待4秒
注意⚠️：遇到io阻塞自动切换
结果
1
3
2
4
async & await 关键字
在Python3.5 及以后的版本 才能用
import asyncio
async def func1():
print(1)
await asyncio.sleep(2)
print(2)
async def func2():
print(3)
await asyncio.sleep(2)
print(4)
tasks = [
asyncio.ensure_future(func1()),
asyncio.ensure_future(func2())
]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
那我们最常用的就是 async & await 关键字
协程的意义
在一个线程中如果遇到io等待的时间，线程不会一直等待，利用空闲的时间去执行其他的任务 如果那个任务有结果了 在回去拿结果。
案例：
网络io请求获取三张图片
普通方式(同步编程)
pip3 install requests
import requests
def download_image(url):
print(f'开始下载图片:{url}')
response = requests.get(url)
print(f'下载完成')
file_name = url.rsplit("/")[-1]
with open(file_name,'wb',) as f:
f.write(response.content)
if __name__ == '__main__':
url_list = [
'http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg',
'http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg',
'http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg',
]
for url in url_list:
download_image(url)
结果:
开始下载图片:http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg
下载完成
开始下载图片:http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg
下载完成
开始下载图片:http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg
下载完成
看结果 是安顺序执行的 如果没哥请求是两分钟的话 那就需要足足等待6分钟。
如果我们用 异步做就会大大的提高性能。
协程方式(异步编程)
import asyncio
import aiohttp
async def fetch(session,url):
print(f'发送请求{url}')
async with session.get(url,verify_ssl=False) as response:
content = await response.read()
file_name = url.rsplit('/')[-1]
with open(file_name,'wb') as f:
f.write(content)
print('下载完成')
async def main():
async with aiohttp.ClientSession() as session:
url_list = [
'http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg',
'http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg',
'http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg',
]
tasks = [
asyncio.create_task(fetch(session,url)) for url in url_list
]
await asyncio.wait(tasks)
if __name__ == '__main__':
asyncio.run(main())
结果:
发送请求http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg
发送请求http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg
发送请求http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg
下载完成
下载完成
下载完成