python中进程池的应用

#原创，转载请联系

假设我们写的一个程序需要运行100个子进程的时候，那么写程序时，不可能循环创建销毁100个进程吧？进程的创建与销毁是很耗系统的资源的。

进程池的作用就体现出来了。

进程池可以控制进程的数量，重复利用进程对象，减少创建和销毁进程的开销。

-----------------------------------------------------------------------------------------我是一条分割线----------------------------------------------------------------------------------------------------

1.创建进程池

pool = multiprocessing.Pool()

创建进程池可以接收一个参数，这个参数可以设置进程池的最大值。就是指定有几个子进程在“同时”进行。（为什么说是“同时”，因为在并发的情况下，子进程和主进程是按照时间片轮寻的方式执行的，只是切换得过快，并不是真的一起运行。）

-----------------------------------------------------------------------------------------我是一条分割线----------------------------------------------------------------------------------------------------

2.进程池的应用

import multiprocessing
import os
import random
import time

def run_time(index):
    start_time = time.time()
    time.sleep(random.random())
    print("任务%d  任务id为%d  任务运行的时间为%0.2f" % (index,os.getpid(),
                                            time.time()-start_time))


if __name__ == '__main__':
    pool = multiprocessing.Pool(3)
    for i in range(10):
        pool.apply_async(func=run_time,args=(i,))
    pool.close()
    pool.join()
    print("结束标志")

输出：
任务2  任务id为3191  任务运行的时间为0.29
任务1  任务id为3190  任务运行的时间为0.33
任务0  任务id为3189  任务运行的时间为0.45
任务3  任务id为3191  任务运行的时间为0.41
任务4  任务id为3190  任务运行的时间为0.39
任务5  任务id为3189  任务运行的时间为0.76
任务7  任务id为3190  任务运行的时间为0.52
任务6  任务id为3191  任务运行的时间为0.80
任务8  任务id为3189  任务运行的时间为0.56
任务9  任务id为3190  任务运行的时间为0.80
结束标志

-----------------------------------------------------------------------------------------我是一条分割线----------------------------------------------------------------------------------------------------

3.进程池的进程默认都是守护进程

进程池的子进程都是由主进程创建的，且默认都是守护进程。所以当主进程执行完之后，进程池的子进程全部都被中断。如果需要执行完进程池的子进程，才结束程序，需要加上两句代码。

pool.close()  # 必须先关闭进程池，不再让它接收新的进程，才能进行下一步的阻塞。（已经在排队的进程不算新进程了！例如上面的例子，
                10个子进程已经在进程池排队，所以join方法会阻塞直到10个子进程执行完成。）
pool.join（）

上面的例子，如果没有这两句代码，输出会变成下面的结果

import multiprocessing
import os
import random
import time

def run_time(index):
    start_time = time.time()
    time.sleep(random.random())
    print("任务%d  任务id为%d  任务运行的时间为%0.2f" % (index,os.getpid(),
                                            time.time()-start_time))


if __name__ == '__main__':
    pool = multiprocessing.Pool(3)
    for i in range(10):
        pool.apply_async(func=run_time,args=(i,))
    print("结束标志")

输出：
结束标志

进程池排队的10个进程，都是守护进程。还没来得及运行，主进程运行了，然后中断了进程池所有的子进程，因次子进程并没有输出。

-----------------------------------------------------------------------------------------我是一条分割线----------------------------------------------------------------------------------------------------

4.进程池中子进程之间的通信。

关于进程间的通信，可以看我的另一篇博客。https://www.cnblogs.com/chichung/p/9533227.html

那么，进程池中的子进程之间怎么进行通信呢？

我们来在进程池创建两个子进程，然后让一个子进程把数据放在队列，另外一个子进程在队列里取数据。

import multiprocessing
import time


def send_data(queue):
    for i in "python":
        queue.put(i)
        print("把%s放进队列里" % i)

def recv_data(queue):
    while not queue.empty():
        data = queue.get()
        print("在队列里取得%s" % data)

if __name__ == '__main__':
    q = multiprocessing.Manager().Queue(5)  # 进程池之间的通信中间要加Manager()，单纯进程间的通信并不用，这是最大的区别。
    pool = multiprocessing.Pool(2)
    pool.apply_async(func=send_data,args=(q,))
    time.sleep(1)
    pool.apply_async(func=recv_data,args=(q,))
    time.sleep(1)
    pool.close()
    pool.join()
    print("结束标志")

输出：
把p放进队列里
把y放进队列里
把t放进队列里
把h放进队列里
把o放进队列里
在队列里取得p
把n放进队列里
在队列里取得y
在队列里取得t
在队列里取得h
在队列里取得o
在队列里取得n
结束标志

进程池里面子进程的通信也是用到Queue队列，但是创建的方式稍微有点不同，上面代码注释那里已经提出。