#coding:utf-8
#要让Python程序实现多进程(multiprocessing)
#Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。
#普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统
#自动把当前进程(父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回
#子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程
#所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID
import os
#打印出当前进程的进程ID
print 'Process(%s) start...' % os.getpid()
#创建一个子进程,process会有两个返回值
#当process为0时为子进程
process = os.fork()
if process == 0 :
print 'I am child process(%s) and my parent is %s' % (os.getpid(), os.getppid())
else:
print 'I (%s) just created a child process(%s)' %(os.getpid(), pid)
multiprocessing的使用
#coding:utf-8
#multiprocessing模块就是跨平台版本的多进程模块
#multiprocessing模块提供了一个Process类来代表一个进程对象
from multiprocessing import Process
import os
#子进程要执行的代码
def run_proc(name):
print 'Run child process %s (%s)...' % (name, os.getpid())
#创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例
#join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步
if __name__ == '__main__':
#输出主线程的id
print 'Parent process %s' % os.getpid()
#创建一个Process实例
p = Process(target = run_proc,args = ('test',))
print 'Process will start'
p.start()
#子进程会阻塞主线程
p.join()
print 'Process end'
进程池的使用
#coding:utf-8
#进程池
from multiprocessing import Pool
import os,time,random
def long_time_task(name):
print 'Run task %s (%s)..' %(name,os.getpid())
start = time.time()
time.sleep(random.random()*3)
end = time.time()
print 'Task %s runs %0.2f seconds' % (name,(end - start))
if __name__ == '__main__' :
print 'Parent process %s ' % os.getpid()
#对Pool对象调用join()方法会等待所有子进程执行完毕
#调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process
p = Pool()
for i in range(5):
p.apply_async(long_time_task,args =(i,))
print 'Waiting for all subprocess done ..'
p.close()
p.join()
print 'All subprocess done'
进程之间进行通信
#coding:utf-8
from multiprocessing import Process,Queue
import os, time, random
#写数据进程执行的代码
def write(q):
#通过循环将数据添加到队列
for value in ['A','B','C']:
print 'Put %s to queue' % value
q.put(value)
time.sleep(random.random())
#读数据进程执行的代码
def read(q) :
while True:
#从队列中获取元素
value = q.get(True)
print 'Get %s from queue' % value
if __name__ == '__main__':
#父进程创建Queue,并传递给各个子进程
q = Queue()
#创建一个写入子进程对象
pw = Process(target=write,args = (q,))
#创建一个读子进程对象
pr = Process(target=read,args = (q,))
pw.start()
pr.start()
#等待pw结束
pw.join()
#pr进程里是死循环,无法等待其结果,只能强行终止
pr.terminate()