Day33 python基础--并发编程基础2

一,Process类的介绍

Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)

强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

参数介绍:
1 group参数未使用,值始终为None
2 target表示调用对象,即子进程要执行的任务
3 args表示调用对象的位置参数元组,args=(1,2,'egon',)
4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
5 name为子进程的名称
1 p.start():启动进程,并调用该子进程中的p.run() 
2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  
3 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
4 p.is_alive():如果p仍然运行,返回True
5 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程  
1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程;必须在p.start()之前设置
2 p.name:进程的名称
3 p.pid:进程的pid
4 p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制),在创建子进程的时候会自动 import 启动它的这个文件,而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来,import 的时候  ,就不会递归运行了。

  1、join(timeout):阻塞,直使用该方法的进程执行完成才结束阻塞

     主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可以选的超市时间,需要强调的是,p.join只能阻塞住start启动的进程,而不能阻塞住run开启的进程

#完全异步
import time
import random
from multiprocessing import Process
def func(index):
    time.sleep(random.random(1,3))
    print('第%s个邮件已经发送完毕'%index)
if __name__ == '__main__':
    for i in range(10):
        Process(target=func,args=(i,)).start()
    print('10个邮件已经发送完毕')

#完全同步
import time
import random
from multiprocessing import Process
def func(index):
    time.sleep(random.random())
    print('第%s个邮件已经发送完毕'%index)
if __name__ == '__main__':
    for i in range(10):
        p = Process(target=func,args=(i,))
        p.start()
        p.join()   #阻塞:直到p进程(逐个)执行完毕就结束阻塞
    print('10个邮件已经发送完毕')

#子进程之间都是异步的,主进程与其他子进程是同步
import time
import random
from multiprocessing import Process
def func(index):
    time.sleep(random.random(1,3))
    print('第%s个邮件已经发送完毕'%index)
if __name__ == '__main__':
    p_lst = []
    for i in range(10):
        p = Process(target=func,args=(i,))
   l p_lst.append(p)  p.start()
for p in p_lst: p.join() #阻塞:直到所有进程执行完毕就结束阻塞 print('10个邮件已经发送完毕')

  2、开启进程的第二种方式

#开启进程的第二种方式
import os
from multiprocessing import Process
class MyProcess(Process):
    def run(self):
        print('子进程',os.getpid(),os.getppid())
if __name__ == '__main__':
    p = MyProcess()
    p.start() #开启一个子进程,让这个子进程执行run方法
    print('主进程',os.getpid())

# 开启进程的第二种方式,并传参
class MyProcess(Process):
    def __init__(self,arg):
        super().__init__()
        self.arg = arg
    def run(self):
        print('子进程',os.getpid(),os.getppid(),self.arg)
if __name__ == '__main__':
    p = MyProcess('参数')
    p.start() #开启一个子进程,让这个子进程执行run方法
    print('主进程',os.getpid())

#开启进程的另一种方式,并多线程
class MyProcess(Process):
    def __init__(self,arg):
        super().__init__()
        self.arg = arg
    def run(self):
        print('第%s子进程'%self.arg,os.getpid(),os.getppid())

if __name__ == '__main__':
    p_lst = []
    for i in range(10):
        p = MyProcess(i)
        p.start() #开启一个子进程,让这个子进程执行run方法
        p_lst.append(p)
    for p in p_lst:
        p.join()
    print('主进程:10个子进程已完成',os.getpid())

  3、守护进程:

     1.一般情况,主进程会等待子进程完全结束才结束,守护进程会随着主进程的代码执行完毕而结束

     2.如果主进程代码已经执行完毕,但是子进程还没执行完,守护进程都不会继续执行

     3.主进程会等待子进程结束,守护进程只等待主进程代码结束就结束了

     4.守护进程内无法再开启子进程,否则抛出异常

     注意:进程之间是互相独立的,主进程代码运行结束,守护进程随机终止

import time
from  multiprocessing import Process

def func():
    print('子进程 start')
    time.sleep(3)
    print('子进程 end')

if __name__ == '__main__':
    p = Process(target=func)
    p.daemon = True   #设置p为一个守护进程,必须在start之前完成
    p.start()
    print('主进程')

    应用场景:程序报活

import time
from multiprocessing import Process
def func():
    while True:
        time.sleep(5*60)
        print('我还活着')

def main():
    p = Process(target=func)
    p.daemon = True   守护进程:每隔5分钟就向一台机器汇报自己的状态
    p.start()
    while 1:
        print('主程序7*24小时提供服务')

  4.锁LOCK

    1.为了保证数据安全

    2.在异步的情况下,多个进程又可能同时修改同一份资源

    3.解决方法就是给这个修改的过程加上锁

  注意:加锁是会降低程序的效率,让原来能够同时执行的代码变成顺序执行了,异步变同步的过程,加锁保证了数据的安全

   互斥锁llock:同一个进程,如果存在两个lock.acquire,后面lock.acquire无法执行,导致死锁

#加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行的修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信,但问题是:
1.效率低(共享数据基于文件,而文件是硬盘上的数据)
2.需要自己加锁处理

#因此我们最好找寻一种解决方案能够兼顾:1、效率高(多个进程共享一块内存的数据)2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。
队列和管道都是将数据存放于内存中
队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。
#lock应用场景:抢票
import json
import time
from multiprocessing import Process,Lock
def dump_count():
    dic = {'count':4}
    with open('ticket','w') as f:
        json.dump(dic,f)
def get_ticket(person,lock):
    lock.acquire()
    with open('ticket') as f:
        dic = json.load(f)
    time.sleep(0.2)
    # print(dic,type(dic))
    if dic['count'] > 0:
        print('%s买到票了'%person)
        dic['count'] -= 1
        time.sleep(0.2)
        with open('ticket','w') as f:
            json.dump(dic,f)
    else:
        print('%s没买到票'%person)
    lock.release()

if __name__ == '__main__':
    lock = Lock()
    dump_count()
    for i in range(10):
        p = Process(target=get_ticket,args=('person%s'%i,lock))
        p.start()

  5.信号量:变形的锁

    信号量的实现机制:计数器+锁

  互斥锁同时只允许一个线程更改数据,而信号量Semaphore是同时允许一定数量的线程更改数据 。
假设商场里有4个迷你唱吧,所以同时可以进去4个人,如果来了第五个人就要在外面等待,等到有人出来才能再进去玩。
实现:
信号量同步基于内部计数器,每调用一次acquire(),计数器减1;每调用一次release(),计数器加1.当计数器为0时,acquire()调用被阻塞。这是迪科斯彻(Dijkstra)信号量概念P()和V()的Python实现。信号量同步机制适用于访问像服务器这样的有限资源。
信号量与进程池的概念很像,但是要区分开,信号量涉及到加锁的概念
import time
import random
from  multiprocessing import Process,Semaphore
def ktv(person):
    sem.acquire()
    print('%s走进ktv'%person)
    time.sleep(random.randint(1,3))
    print('%s走出ktv'%person)
    sem.release()

if __name__ == '__main__':
    sem = Semaphore(4)
    for i in range(10):
        p = Process(target=ktv,args=('person%s'%i,sem))
        p.start()

  6.Event,事件

    阻塞事件:wait()方法

      wait是否阻塞是看event对象内部的一个属性

    控制这个属性的值:

      set()将这个属性的值改为True

      clear()将这个属性的值改为False

      is_set()判断当前的属性是否为True

python线程的事件用于主线程控制其他线程的执行,事件主要提供了三个方法 set、wait、clear。

事件处理的机制:
全局定义了一个“Flag”,如果“Flag”值为 False,那么当程序执行 event.wait 方法时就会阻塞,如果“Flag”值为True,那么event.wait 方法时便不再阻塞。 clear:将“Flag”设置为False set:将“Flag”设置为True
#实例:红绿灯
import time
from multiprocessing import Process,Event
def traffic_light(e):
    # flag = False
    while True:
        if e.is_set():
            print('33[32m绿灯亮33[0m')
            time.sleep(2)
            e.clear()
        else:
            print('33[31m红灯亮33[0m')
            time.sleep(2)
            e.set()

def car(e):
    for i in range(20):
        e.wait()
        print('car%s通过了'%i)

if __name__ == '__main__':
    e = Event()
    p1 = Process(target=traffic_light,args=(e,))
    p1.start()
    p2 = Process(target=car,args=(e,))
    p2.start()
原文地址:https://www.cnblogs.com/lianyeah/p/9675094.html