并发编程(四)线程池、进程池、协程

1、进程池

硬件的发展赶不上软件的速度,电脑硬件不可能支持无线多的线程在运行(程序运行),而“池”的概念就是用来防止电脑趴窝的
保证硬件安全,最大限度利用电脑。

”降低了程序运行效率,保证了硬件安全(硬件的发展赶不上软件的速度)

创建线程池

python调包侠,这是 一个高阶模块

print(n.result())打印任务的返回结束

res=pool.submit(函数名,函数的参数)#提交任务的方式

#导入模块
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
#创建线程池
pool = ThreadPoolExecutor(5)#括号内可以传参数指定线程池内的线程个数。点开源码,不传,默认是当前所在计算机的cpu核心数的5倍
"""
池子中创建的进程/线程创建一次就不会再创建了
至始至终用的都是最初的那几个
这样的话节省了反复开辟进程/线程的资源
"""
def task(n):
    print(n,os.getpid())  # 查看当前进程号
    time.sleep(2)
    return n**2
def call_back(n):
    print('拿到了异步提交任务的返回结果:',n.result())
"""
提交任务的方式
    同步:提交任务之后 原地等待任务的返回结果 期间不做任何事
    异步:提交任务之后 不等待任务的返回结果(异步的结果怎么拿???) 直接执行下一行代码

异步回调机制:当异步提交的任务有返回结果之后,会自动触发回调函数的执行

"""
if __name__ == '__main__':

    t_list = []
    for i in range(20):
        res = pool.submit(task,i).add_done_callback(call_back)  # 提交任务的时候 绑定一个回调函数 一旦该任务有结果 立刻执行对于的回调函数
        t_list.append(res)

证明是“异步提交”

线程池

只需改一下创建池的代码

pool = ProcessPoolExecutor()  # 默认是当前计算机cpu的个数

协程(理论为主)

1“协程”完全是程序员自己意淫出的词。实现单线程下的并发!

并发

	切换+保存状态。
	ps:看起来像同时执行的 就可以称之为并发

进程:资源单位
线程:执行单位
协程:单线程下实现并发

**产生并发的条件****?

多道技术:
			空间上的复用(多个程序公用一套计算机硬件)
			时间上的复用(切换+保存状态)	

协程的概念是如何产生的?

程序员自己通过代码自己检测程序中的IO
	一旦遇到IO自己通过代码切换
	给操作系统的感觉是你这个线程没有任何的IO
	ps:欺骗操作系统 让它误认为你这个程序一直没有IO
		从而保证程序在运行态和就绪态来回切换
		提升代码的运行效率

产生疑问:切换+保存状态就一定能够提升效率吗???

	这个问题要分情况来讨论!
		当你的任务是iO密集型的情况下  提升效率
		如果你的任务是计算密集型的    降低效率("切换任务"是需要时间的)

产生疑问:如何保存状态?
之前"生成器"yield关键词就是用来保存上一次状态的

计算密集型串行演示(代码不需要掌握)

#**串行演示**
import time

def func1():
    for i in range(10000000):
        i+1

def func2():
    for n in range(10000000):
        n+1
start = time.time()
func1()
func2()
stop = time.time()
print(stop - start)
#时间为:1.6270930767059326秒

计算密集型基于yield并发执行(通过将两个函数体代码写在同一个for循环当中)
注意:yield并不会捕捉time.sleep(),因此他只能够保存状态,不能根据IO进行切换,因此不能做到协程。

import time
def func1():
    while True:
        10000000+1
        yield

def func2():
    g=func1()
    for i in range(10000000):
        # time.sleep(100)  # 模拟IO,yield并不会捕捉到并自动切换
        i+1
        next(g)

start=time.time()
func2()
stop=time.time()
print(stop-start)
#时间为:2.5431454181671143

回顾生成器的小知识

def func1():
    while True:
        10000000+1
        yield
#这个函数必须func()加括号调用才是生成器

gevent模块

yeild无法识别I/O需要找到一个能够识别IO的一个工具,并且能保存状态的工具:gevent模块(该模块需要手动下载)

检测任务有无IO操作

from gevent import spawn#检测任务有无IO操作

gevent模块在使用之前也无法识别到time.sleep()等IO情况,需要手动配置一个参数

#该参数由于经常性用到,则与导入模块写成一行
from gevent import monkey;monkey.patch_all()

spawn模块如何使用?

g=spawn(要检测IO的函数名),同时点开源码,它有一个返回值,因此赋值给G。

传入函数名,它会自动加括号调用

关于切换:

切换是发生在代码层面,操作系统并不知情

代码部分:
spawn的原理:spawn相当于一个列表,spawn()内一个放入一个列表,一个个检测,一个有io执行下一个,同时保存状态

from gevent import monkey;monkey.patch_all()  # 由于该模块经常被使用 所以建议写成一行
from gevent import spawn
import time
def heng():
    print("哼")
    time.sleep(2)
    print('哼')

def ha():
    print('哈')
    time.sleep(3)
    print('哈')

def heiheihei():
    print('嘿嘿嘿')
    time.sleep(5)
    print('嘿嘿嘿')

start = time.time()
g1 = spawn(heng)
g2 = spawn(ha)  # spawn会检测所有的任务
g3 = spawn(heiheihei)
g1.join()
g2.join()
g3.join()

print(time.time() - start)
#时间为5.008286476135254

结论:程序员之前通过yield实现单线程的切换+保存状态高效率的使用cpu,但是他不能识别sleep等操作,使用gevent模块来弥补sleep的不足,最终实现单线程的并发!!

基于上述,让TCP服务端实现并发?

客户端:

import socket
from threading import Thread,current_thread


def client():
    client = socket.socket()
    client.connect(('127.0.0.1',8080))
    n = 0
    while True:

        data = '%s %s'%(current_thread().name,n)
        client.send(data.encode('utf-8'))
        res = client.recv(1024)
        print(res.decode('utf-8'))
        n += 1

for i in range(400):
    t = Thread(target=client)
    t.start()

服务端:
分析:实现单线程下的并发,要用到gevent模块中的spawn,将可能出现IO操作的函数名放入里面,而服务端根据作用的不同可分为两个函数:站在门口接客的conn,addr = server.accept(),和用来收发信息的函数,同时线程需要写在main下。

将conn的函数名放入spawn括号中,再将talk函数名的spawn,卸载conn的函数内,这样做到spawn一个函数就可以同时检测两个函数的IO操作。

from gevent import monkey;monkey.patch_all()
import socket
from gevent import spawn


server = socket.socket()
server.bind(('127.0.0.1',8080))
server.listen(5)


def talk(conn):
    while True:
        try:
            data = conn.recv(1024)
            if len(data) == 0:break
            print(data.decode('utf-8'))
            conn.send(data.upper())
        except ConnectionResetError as e:
            print(e)
            break
    conn.close()

def server1():
    while True:
        conn, addr = server.accept()
        spawn(talk,conn)

if __name__ == '__main__':
    g1 = spawn(server1)
    g1.join()

总结:

	多进程下开多线程
	多线程下再开协程
原文地址:https://www.cnblogs.com/ZDQ1/p/11358695.html