线程
一. 背景知识
1. 进程: 之前我们已经了解了操作系统中进程的概念,程序并不能单独运行,只有将程序装载到内存中,系统为它分配资源才能运行,而这种执行的程序就称之为进程。程序和进程的区别就在于:程序是指令的集合,它是进程运行的静态描述文本;进程是程序的一次执行活动,属于动态概念。在多道编程中,我们允许多个程序同时加载到内存中,在操作系统的调度下,可以实现并发地执行。这是这样的设计,大大提高了CPU的利用率。进程的出现让每个用户感觉到自己独享CPU,因此,进程就是为了在CPU上实现多道编程而提出的。
2. 有了进程为什么还要线程
进程有很多优点,它提供了多道编程,让我们感觉我们每个人都拥有自己的CPU和其他资源,可以提高计算机的利用率。很多人就不理解了,既然进程这么优秀,为什么还要线程呢?其实,仔细观察就会发现进程还是有很多缺陷的,主要体现在两点上:
进程只能在一个时间干一件事,如果想同时干两件事或多件事,进程就无能为力了。
进程在执行的过程中如果阻塞,例如等待输入,整个进程就会挂起,即使进程中有些工作不依赖于输入的数据,也将无法执行。
如果这两个缺点理解比较困难的话,举个现实的例子也许你就清楚了:如果把我们上课的过程看成一个进程的话,那么我们要做的是耳朵听老师讲课,手上还要记笔记,脑子还要思考问题,这样才能高效的完成听课的任务。而如果只提供进程这个机制的话,上面这三件事将不能同时执行,同一时间只能做一件事,听的时候就不能记笔记,也不能用脑子思考,这是其一;如果老师在黑板上写演算过程,我们开始记笔记,而老师突然有一步推不下去了,阻塞住了,他在那边思考着,而我们呢,也不能干其他事,即使你想趁此时思考一下刚才没听懂的一个问题都不行,这是其二。
现在你应该明白了进程的缺陷了,而解决的办法很简单,我们完全可以让听、写、思三个独立的过程,并行起来,这样很明显可以提高听课的效率。而实际的操作系统中,也同样引入了这种类似的机制——线程。
什么是线程:
指的是一条流水线的工作过程,关键的一句话:一个进程内最少自带一个线程,其实进程根本不能执行,进程不是执行单位,是资源的单位,分配资源的单位
线程才是执行单位
进程:做手机屏幕的工作过程,刚才讲的
我们的py文件在执行的时候,如果你站在资源单位的角度来看,我们称为一个主进程,如果站在代码执行的角度来看,它叫做主线程,只是一种形象的说法,其实整个代码的执行过程成为线程,也就是干这个活儿的本身称为线程,但是我们后面学习的时候,我们就称为线程去执行某个任务,其实那某个任务的执行过程称为一个线程,一条流水线的执行过程为线程
进程vs线程
(1). 同一个进程内的多个线程是共享该进程的资源的,不同进程内的线程资源肯定是隔离的
(2). 创建线程的开销比创建进程的开销要小的多
3. 线程的出现
60年代,在OS中能拥有资源和独立运行的基本单位是进程,然而随着计算机技术的发展,进程出现了很多弊端,一是由于进程是资源拥有者,创建、撤消与切换存在较大的时空开销,因此需要引入轻型进程;二是由于对称多处理机(SMP)出现,可以满足多个运行单位,而多个进程并行开销过大。因此在80年代,出现了能独立运行的基本单位——线程(Threads)。
注意:进程是资源分配的最小单位,线程是CPU调度的最小单位.
每一个进程中至少有一个线程。
在传统操作系统中,每个进程有一个地址空间,而且默认就有一个控制线程
线程顾名思义,就是一条流水线工作的过程,一条流水线必须属于一个车间,一个车间的工作过程是一个进程
车间负责把资源整合到一起,是一个资源单位,而一个车间内至少有一个流水线
流水线的工作需要电源,电源就相当于cpu
所以,进程只是用来把资源集中到一起(进程只是一个资源单位,或者说资源集合),而线程才是cpu上的执行单位。
多线程(即多个控制线程)的概念是,在一个进程中存在多个控制线程,多个控制线程共享该进程的地址空间,相当于一个车间内有多条流水线,都共用一个车间的资源。
二. 进程和线程的关系
线程与进程的区别可以归纳为以下4点:
1)地址空间和其它资源(如打开文件):进程间相互独立,同一进程的各线程间共享。某进程内的线程在其它进程不可见。
2)通信:进程间通信IPC,线程间可以直接读写进程数据段(如全局变量)来进行通信——需要进程同步和互斥手段的辅助,以保证数据的一致性。(就类似进程中的锁的作用)
3)调度和切换:线程上下文切换比进程上下文切换要快得多。
4)在多线程操作系统中(现在咱们用的系统基本都是多线程的操作系统),进程不是一个可执行的实体,真正去执行程序的不是进程,是线程,你可以理解进程就是一个线程的容器。
三. 线程的特点
在多线程的操作系统中,通常是在一个进程中包括多个线程,每个线程都是作为利用CPU的基本单位,是花费最小开销的实体。线程具有以下属性。
1)轻型实体
线程中的实体基本上不拥有系统资源,只是有一些必不可少的、能保证独立运行的资源。
线程的实体包括程序、数据和TCB。线程是动态概念,它的动态特性由线程控制块TCB(Thread Control Block)描述。
TCB包括以下信息:
(1)线程状态。
(2)当线程不运行时,被保存的现场资源。
(3)一组执行堆栈。
(4)存放每个线程的局部变量主存区。
(5)访问同一个进程中的主存和其它资源。
用于指示被执行指令序列的程序计数器、保留局部变量、少数状态参数和返回地址等的一组寄存器和堆栈。
2)独立调度和分派的基本单位。
在多线程OS中,线程是能独立运行的基本单位,因而也是独立调度和分派的基本单位。由于线程很“轻”,故线程的切换非常迅速且开销小(在同一进程中的)。
3)共享进程资源。
线程在同一进程中的各个线程,都可以共享该进程所拥有的资源,这首先表现在:所有线程都具有相同的进程id,这意味着,线程可以访问该进程的每一个内存资源;此外,还可以访问进程所拥有的已打开文件、定时器、信号量机构等。由于同一个进程内的线程共享内存和文件,所以线程之间互相通信不必调用内核。
4)可并发执行。
在一个进程中的多个线程之间,可以并发执行,甚至允许在一个进程中所有线程都能并发执行;同样,不同进程中的线程也能并发执行,充分利用和发挥了处理机与外围设备并行工作的能力。
四. 线程的实际应用场景
开启一个字处理软件进程,该进程肯定需要办不止一件事情,比如监听键盘输入,处理文字,定时自动将文字保存到硬盘,这三个任务操作的都是同一块数据,因而不能用多进程。只能在一个进程里并发地开启三个线程,如果是单线程,那就只能是,键盘输入时,不能处理文字和自动保存,自动保存时又不能输入和处理文字。
之前我们将的socket是不是通过多进程去实现过呀,如果有500个人同时和我聊天,那我是不是要起500进程啊,能行吗?不好,对不对,那么怎么办,我就可以开几个进程,然后每个进程里面开多个线程来处理多个请求和通信。再举例:我用qq是一个进程,然后我和一个人聊天的时候,是不是还可以去接收别人给我发的消息啊,这个是不是并行的啊,就类似我一个进程开了多个线程来帮我并发接收消息。
五. 内存中的线程
多个线程共享同一个进程的地址空间中的资源,是对一台计算机上多个进程的模拟,有时也称线程为轻量级的进程。
而对一台计算机上多个进程,则共享物理内存、磁盘、打印机等其他物理资源。多线程的运行也多进程的运行类似,是cpu在多个线程之间的快速切换。
不同的进程之间是充满敌意的,彼此是抢占、竞争cpu的关系,如果迅雷会和QQ抢资源。而同一个进程是由一个程序员的程序创建,所以同一进程内的线程是合作关系,一个线程可以访问另外一个线程的内存地址,大家都是共享的,一个线程干死了另外一个线程的内存,那纯属程序员脑子有问题。
类似于进程,每个线程也有自己的堆栈,不同于进程,线程库无法利用时钟中断强制线程让出CPU,可以调用thread_yield运行线程自动放弃cpu,让另外一个线程运行。
线程通常是有益的,但是带来了不小程序设计难度,线程的问题是:
1. 父进程有多个线程,那么开启的子线程是否需要同样多的线程
2. 在同一个进程中,如果一个线程关闭了文件,而另外一个线程正准备往该文件内写内容呢?
因此,在多线程的代码中,需要更多的心思来设计程序的逻辑、保护程序的数据。
六. 用户级线程和内核级线程
线程的实现可以分为两类:用户级线程(User-Level Thread)和内核线线程(Kernel-Level Thread),后者又称为内核支持的线程或轻量级进程。在多线程操作系统中,各个系统的实现方式并不相同,在有的系统中实现了用户级线程,有的系统中实现了内核级线程。
1.用户级线程
内核的切换由用户态程序自己控制内核切换,不需要内核干涉,少了进出内核态的消耗,但不能很好的利用多核Cpu。
在用户空间模拟操作系统对进程的调度,来调用一个进程中的线程,每个进程中都会有一个运行时系统,用来调度线程。此时当该进程获取cpu时,进程内再调度出一个线程去执行,同一时刻只有一个线程执行。
2.内核级线程
内核级线程:切换由内核控制,当线程进行切换的时候,由用户态转化为内核态。切换完毕要从内核态返回用户态;可以很好的利用smp,即利用多核cpu。windows线程就是这样的。
3.用户级和内核级线程的对比
1) 内核支持线程是OS内核可感知的,而用户级线程是OS内核不可感知的。
2) 用户级线程的创建、撤消和调度不需要OS内核的支持,是在语言(如Java)这一级处理的;而内核支持线程的创建、撤消和调度都需OS内核提供支持,而且与进程的创建、撤消和调度大体是相同的。
3) 用户级线程执行系统调用指令时将导致其所属进程被中断,而内核支持线程执行系统调用指令时,只导致该线程被中断。
4) 在只有用户级线程的系统内,CPU调度还是以进程为单位,处于运行状态的进程中的多个线程,由用户程序控制线程的轮换运行;在有内核支持线程的系统内,CPU调度则以线程为单位,由OS的线程调度程序负责线程的调度。
5) 用户级线程的程序实体是运行在用户态下的程序,而内核支持线程的程序实体则是可以运行在任何状态下的程序
内核级线程的优缺点:
优点:当有多个处理机时,一个进程的多个线程可以同时执行。
缺点:由内核进行调度。
用户级线程的优缺点:
优点:
线程的调度不需要内核直接参与,控制简单。
可以在不支持线程的操作系统中实现。
创建和销毁线程、线程切换代价等线程管理的代价比内核线程少得多。
允许每个进程定制自己的调度算法,线程管理比较灵活。
线程能够利用的表空间和堆栈空间比内核级线程多。
同一进程中只能同时有一个线程在运行,如果有一个线程使用了系统调用而阻塞,那么整个进程都会被挂起。另外,页面失效也会产生同样的问题。
缺点:
资源调度按照进程进行,多个处理机下,同一个进程中的线程只能在同一个处理机下分时复用
4.混合实现
用户级与内核级的多路复用,内核同一调度内核线程,每个内核线程对应n个用户线程,用户和内核都能感知到的线程,用户创建一个线程,那么操作系统内核也跟着创建一个线程来专门执行你用户的这个线程。
七. python与线程
1.全局解释器锁GIL(用一下threading模块之后再来看~~)
Python代码的执行由Python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中,同时只有一个线程在执行。虽然 Python 解释器中可以“运行”多个线程,但在任意时刻只有一个线程在解释器中运行。
对Python虚拟机的访问由全局解释器锁(GIL)来控制,正是这个锁能保证同一时刻只有一个线程在运行。
在多线程环境中,Python 虚拟机按以下方式执行:
a、设置 GIL;
b、切换到一个线程去运行;
c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0));
d、把线程设置为睡眠状态;
e、解锁 GIL;
d、再次重复以上所有步骤。
在调用外部代码(如 C/C++扩展函数)的时候,GIL将会被锁定,直到这个函数结束为止(由于在这期间没有Python的字节码被运行,所以不会做线程切换)编写扩展的程序员可以主动解锁GIL。
2.python线程模块的选择
Python提供了几个用于多线程编程的模块,包括thread、threading和Queue等。thread和threading模块允许程序员创建和管理线程。thread模块提供了基本的线程和锁的支持,threading提供了更高级别、功能更强的线程管理的功能。Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。
避免使用thread模块,因为更高级别的threading模块更为先进,对线程的支持更为完善,而且使用thread模块里的属性有可能会与threading出现冲突;其次低级别的thread模块的同步原语很少(实际上只有一个),而threading模块则有很多;再者,thread模块中当主线程结束时,所有的线程都会被强制结束掉,没有警告也不会有正常的清除工作,至少threading模块能确保重要的子线程退出后进程才退出。
就像我们熟悉的time模块,它比其他模块更加接近底层,越是接近底层,用起来越麻烦,就像时间日期转换之类的就比较麻烦,但是后面我们会学到一个datetime模块,提供了更为简便的时间日期处理方法,它是建立在time模块的基础上来的。又如socket和socketserver(底层还是用的socket)等等,这里的threading就是thread的高级模块。
thread模块不支持守护线程,当主线程退出时,所有的子线程不论它们是否还在工作,都会被强行退出。而threading模块支持守护线程,守护线程一般是一个等待客户请求的服务器,如果没有客户提出请求它就在那等着,如果设定一个线程为守护线程,就表示这个线程是不重要的,在进程退出的时候,不用等待这个线程退出。'
八. Theading模块
multiprocess模块的完全模仿了threading模块的接口,二者在使用层面,有很大的相似性,因而不再详细介绍(官方链接)
1. 我们先简单应用一下threading模块来看看并发效果:
import time
from threading import Thread
# 多线程并发, 看看是不是和多进程相似
def func(n):
time.sleep(1) # 如果不加, 则会顺序打印出0,1,2...
print(n)
# 并发效果, 1秒打印出所有的数字
for i in range(10):
t = Thread(target=func, args=(i,))
t.start()
2. 线程创建
import time
from threading import Thread
# 方式一: 函数
# def sayhi(name):
# # time.sleep(2) # 如果不加, 则会先打印子线程中的内容, 因为创建子线程非常快
# print("%s say hello"%name)
#
# if __name__ == '__main__':
# t = Thread(target=sayhi, args=("太白",))
# t.start()
# print("主线程")
# 太白 say hello
# 主线程
# 方式二: 类
class Sayhi(Thread):
def __init__(self, name):
super(Sayhi, self).__init__()
self.name = name
def run(self):
# time.sleep(2) # 同上面类似
print("%s say hello"%self.name)
if __name__ == '__main__':
t = Sayhi("太白")
t.start()
print("主线程")
3. 多线程与多进程(id号)
from threading import Thread
from multiprocessing import Process
import os
def work():
print("hello", os.getpid()
if __name__ == '__main__':
# 在主进程下开启多个线程, 每个线程都跟主进程的pid一样
t1 = Thread(target=work)
t2 = Thread(target=work)
t1.start()
t2.start()
print("主线程pid", os.getpid())
# hello 8292
# hello 8292
# 主线程pid 8292 主线程id和子线程id号一样
# 开多个进程, 每个进程都有不同的pid
p1 = Process(target=work)
p2 = Process(target=work)
p1.start()
p2.start()
print("主线程pid", os.getpid())
# 主线程pid 8292
# hello 11120
# hello 6484
那么哪些东西存在进程里,那些东西存在线程里呢?
进程:导入的模块、执行的python文件的文件所在位置、内置的函数、文件里面的这些代码、全局变量等等,然后线程里面有自己的堆栈(类似于一个列表,后进先出)和寄存器,里面存着自己线程的变量,操作(add)等等,占用的空间很小。
4. 进程和线程的开启速度比较
import time
from multiprocessing import Process, Pool
from threading import Thread
def f1(n):
pass
if __name__ == '__main__':
# 创建20个线程
t_s_time = time.time()
t_list = []
for i in range(20):
t = Thread(target=f1, args=(i, ))
t.start()
t_list.append(t)
[tt.join() for tt in t_list]
t_e_time = time.time()
# 创建20个进程
p_s_time = time.time()
p_list = []
for i in range(20):
p = Process(target=f1, args=(i,))
p_list.append(p)
p.start()
[pp.join() for pp in p_list]
p_e_time = time.time()
# 创建进程池
po_s_time = time.time()
pool = Pool(4)
pool.map(f1, range(20))
po_e_time = time.time()
print("多线程用时: ", t_e_time - t_s_time)
print("多进程用时: ", p_e_time - p_s_time)
print("进程池用时: ", po_e_time - po_s_time)
# 多线程用时: 0.03198099136352539
# 多进程用时: 2.5494189262390137
# 进程池用时: 0.4297347068786621
5. 内存数据共享
import os
from threading import Thread
from multiprocessing import Process
def work():
global n
n = 0
# print("子线程", n)
print("子进程", n)
if __name__ == '__main__':
# 线程
# n = 100
# t = Thread(target=work)
# t.start()
# t.join() # 必须加join,因为主线程和子线程不一定谁快,一般都是主线程快一些,所有我们要等子线程执行完毕才能看出效果
# print("主线程", n)
# 子线程 0
# 主线程 0
# 查看结果为0,因为同一进程内的线程之间共享进程内的数据
# 通过一个global就实现了全局变量的使用,不需要进程IPC通信方法
# 进程
n = 100
p = Process(target=work)
p.start()
p.join()
print("主进程", n)
# 子进程 0
# 主进程 100
#毫无疑问子进程p已经将自己的全局的n改成了0,但改的仅仅是它自己的,查看父进程的n仍然为100
在这里我们简单总结一下:
进程是最小的内存分配单位
线程是操作系统调度的最小单位
线程被CPU执行了
进程内至少含有一个线程
进程中可以开启多个线程
开启一个线程所需要的时间要远小于开启一个进程
多个线程内部有自己的数据栈,数据不共享
全局变量在多个线程之间是共享的
6. 多线程实现socket
server:
import socket
import multiprocessing
import threading
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(("127.0.0.1", 8080))
s.listen(5)
def action(conn):
while 1:
data = conn.recv(1024).decode("utf-8")
print("客户端: ", data)
msg = input("服务端输入:").strip()
conn.send(bytes(msg, encoding="utf-8"))
if __name__ == '__main__':
while 1:
conn, addr = s.accept()
t = threading.Thread(target=action, args=(conn,))
t.start()
client:
import socket
c = socket.socket()
c.connect(("127.0.0.1", 8080))
while 1:
msg = input("客户端输入:").strip()
if not msg:
continue
c.send(msg.encode("utf-8"))
data = c.recv(1024).decode("utf-8")
print("服务端: ", data)
在socket通信里面是不是有大量的I/O啊,recv、accept等等,我们使用多线程效率更高,因为开销小。
7. Thread类的其他方法
Thread实例对象的方法
# isAlive(): 返回线程是否活动的。
# getName(): 返回线程名。
# setName(): 设置线程名。
threading模块提供的一些方法:
# threading.current_thread(): 返回当前的线程变量。
# threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。
# threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果
代码示例:
import threading, os, time
from threading import Thread
from multiprocessing import Process
def work():
time.sleep(3)
print(threading.current_thread().getName()) # 当前线程的名字
if __name__ == '__main__':
t = Thread(target=work)
t.start()
print(threading.current_thread()) # 主线程对象
print(threading.current_thread().getName()) # 主线程名称
print(threading.current_thread().ident) # 主线程id
print(threading.enumerate()) # 连同主线程在内有两个正在运行的线程
print(threading.active_count()) # 连同主线程在内有两个正在运行的线程数
print("主线程")
# <_MainThread(MainThread, started 1068)>
# MainThread
# 1068
# [<_MainThread(MainThread, started 1068)>, <Thread(Thread-1, started 10072)>]
# 2
# 主线程
# Thread-1
join()方法:
from threading import Thread
import time
def sayhi(name):
time.sleep(2)
print('%s say hello' %name)
if __name__ == '__main__':
t=Thread(target=sayhi,args=('太白',))
t2=Thread(target=sayhi,args=('alex',))
t.start()
t2.start()
t.join() #因为这个线程用了join方法,主线程等待子线程的运行结束
print('主线程')
print(t.is_alive()) #所以t这个线程肯定是执行结束了,结果为False
print(t2.is_alive()) #有可能是True,有可能是False,看子线程和主线程谁执行的快
'''
egon say hello
主线程
False
'''
8. 守护线程
无论是进程还是线程,都遵循:守护xx会等待主xx运行完毕后被销毁。需要强调的是:运行完毕并非终止运行
1).对主进程来说,运行完毕指的是主进程代码运行完毕
2).对主线程来说,运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕,主线程才算运行完毕
详细解释
1) 主进程在其代码结束后就已经算运行完毕了(守护进程在此时就被回收),然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(否则会产生僵尸进程),才会结束,
2) 主线程在其他非守护线程运行完毕后才算运行完毕(守护线程在此时就被回收)。因为主线程的结束意味着进程的结束,进程整体的资源都将被回收,而进程必须保证非守护线程都运行完毕后才能结束,因为进程执行结束是要回收资源的,所有必须确保你里面的非守护子线程全部执行完毕。
import time
from threading import Thread
from multiprocessing import Process
def func1():
while 1:
print(666)
time.sleep(0.5)
def func2():
print("hello")
time.sleep(3)
if __name__ == '__main__':
# 线程
# t1 = Thread(target=func1)
# t1.daemon = True # 主进程结束, 守护进程随之结束
# # t.setDaemon(Ture) # 两种方式都可以
# t1.start()
# t2 = Thread(target=func2)
# # 这个子线程需要执行3秒, 主线程的代码虽然执行完了, 但是一直等着子线程的任务执行完毕, 主线程才算完毕,
# # 因为通过结果会发现虽然主线程代码执行完毕了, 但是一直等着子线程的t2执行完毕, 主线程的守护线程才停止, 说明子线程执行完毕之后, 主线程才执行完毕
# t2.start()
# print("主线程代码执行完毕")
# 666
# 主线程代码执行完毕
# hello
# 666
# 666
# 666
# 666
# 666
# 进程
p1 = Process(target=func1)
p1.daemon = True
p1.start()
p2 = Process(target=func2)
p2.start()
time.sleep(1) #让主进程等1秒,为了能看到func1的打印效果
print("主进程代码执行完毕")
# 通过结果你会发现,如果主进程的代码运行完毕了,那么主进程就结束了,因为主进程的守护进程p随着主进程的代码结束而结束了,守护进程被回收了,这和线程是不一样的,主线程的代码完了并不代表主线程运行完毕了,需要等着所有其他的非守护的子线程执行完毕才算完毕
# 666
# hello
# 666
# 主进程代码执行完毕
九. 锁
1. gil锁(全局解释锁)
首先,一些语言(java、c++、c)是支持同一个进程中的多个线程是可以应用多核CPU的,也就是我们会听到的现在4核8核这种多核CPU技术的牛逼之处。那么我们之前说过应用多进程的时候如果有共享数据是不是会出现数据不安全的问题啊,就是多个进程同时一个文件中去抢这个数据,大家都把这个数据改了,但是还没来得及去更新到原来的文件中,就被其他进程也计算了,导致数据不安全的问题啊,所以我们是不是通过加锁可以解决啊,多线程大家想一下是不是一样的,并发执行就是有这个问题。但是python最早期的时候对于多线程也加锁,但是python比较极端的(在当时电脑cpu确实只有1核)加了一个GIL全局解释锁,是解释器级别的,锁的是整个线程,而不是线程里面的某些数据操作,每次只能有一个线程使用cpu,也就说多线程用不了多核,但是他不是python语言的问题,是CPython解释器的特性,如果用Jpython解释器是没有这个问题的,Cpython是默认的,因为速度快,Jpython是java开发的,在Cpython里面就是没办法用多核,这是python的弊病,历史问题,虽然众多python团队的大神在致力于改变这个情况,但是暂没有解决。
但是有了这个锁我们就不能并发了吗?当我们的程序是偏计算的,也就是cpu占用率很高的程序(cpu一直在计算),就不行了,但是如果你的程序是I/O型的(一般你的程序都是这个)(input、访问网址网络延迟、打开/关闭文件读写),在什么情况下用的到高并发呢(金融计算会用到,人工智能(阿尔法狗),但是一般的业务场景用不到,爬网页,多用户网站、聊天软件、处理文件),I/O型的操作很少占用CPU,那么多线程还是可以并发的,因为cpu只是快速的调度线程,而线程里面并没有什么计算,就像一堆的网络请求,我cpu非常快速的一个一个的将你的多线程调度出去,你的线程就去执行I/O操作了
2. 同步锁
1). 需要注意的点:
(1). 线程抢的是GIL锁,GIL锁相当于执行权限,拿到执行权限后才能拿到互斥锁Lock,其他线程也可以抢到GIL,但如果发现Lock仍然没有被释放则阻塞,即便是拿到执行权限GIL也要立刻交出来
(2). join是等待所有,即整体串行,而锁只是锁住修改共享数据的部分,即部分串行,要想保证数据安全的根本原理在于让并发变成串行,join与互斥锁都可以实现,毫无疑问,互斥锁的部分串行效率要更高
2). Python已经有一个GIL来保证同一时间只能有一个线程来执行了,为什么这里还需要lock?
首先我们需要达成共识:锁的目的是为了保护共享的数据,同一时间只能有一个线程来修改共享的数据
然后,我们可以得出结论:保护不同的数据就应该加不同的锁。
最后,问题就很明朗了,GIL 与Lock是两把锁,保护的数据不一样,前者是解释器级别的(当然保护的就是解释器级别的数据,比如垃圾回收的数据),后者是保护用户自己开发的应用程序的数据,很明显GIL不负责这件事,只能用户自定义加锁处理,即Lock
过程分析:所有线程抢的是GIL锁,或者说所有线程抢的是执行权限
线程1抢到GIL锁,拿到执行权限,开始执行,然后加了一把Lock,还没有执行完毕,即线程1还未释放Lock,有可能线程2抢到GIL锁,开始执行,执行过程中发现Lock还没有被线程1释放,于是线程2进入阻塞,被夺走执行权限,有可能线程1拿到GIL,然后正常执行到释放Lock。。。这就导致了串行运行的效果
既然是串行,那我们执行
t1.start()
t1.join
t2.start()
t2.join()
这也是串行执行啊,为何还要加Lock呢,需知join是等待t1所有的代码执行完,相当于锁住了t1的所有代码,而Lock只是锁住一部分操作共享数据的代码。
详解:
因为Python解释器帮你自动定期进行内存回收,你可以理解为python解释器里有一个独立的线程,每过一段时间它起wake up做一次全局轮询看看哪些内存数据是可以被清空的,此时你自己的程序 里的线程和 py解释器自己的线程是并发运行的,假设你的线程删除了一个变量,py解释器的垃圾回收线程在清空这个变量的过程中的clearing时刻,可能一个其它线程正好又重新给这个还没来及得清空的内存空间赋值了,结果就有可能新赋值的数据被删除了,为了解决类似的问题,python解释器简单粗暴的加了锁,即当一个线程运行时,其它人都不能动,这样就解决了上述的问题, 这可以说是Python早期版本的遗留问题。
3). 看一段代码:解释为什么要加锁
import os, time
from threading import Thread, Lock
def work():
global n
# lock.acquire()
temp = n
time.sleep(0.1)
n = temp - 1
# n = n - 1
"""
# 如果这样写的话看不出来效果,因为这样写就相当于直接将n的指向改了,就好比从10,经过1次减1之后,n就直接指向了9,速度太快,看不出效果,那么我们怎么办呢,找一个中间变量来接收n,然后对这个中间变量进行修改,然后再赋值给n,多一个给n赋值的过程,那么在这个过程中间,我们加上一点阻塞时间,来看效果,就像读文件修改数据之后再写回文件的过程。那么这个程序就会出现结果为9的情况,首先一个进程的全局变量对于所有线程是共享的,由于我们在程序给中间变量赋值,然后给n再次赋值的过程中我们加了一些I/O时间,遇到I/O就切换,那么每个线程都拿到了10,并对10减1了,然后大家都得到了9,然后再赋值给n,所有n等于了9
"""
# lock.release()
if __name__ == '__main__':
lock = Lock()
n = 100
l = []
for i in range(100):
p = Thread(target=work)
l.append(p)
p.start()
for pp in l:
pp.join()
print(n)
# 不加锁 加time.sleep(0.1) 结果是 99
# 不加锁 不加time.sleep(0.1) 结果是 0
# 加锁 加time.sleep(0.1) 结果是 0
# 加锁 不加time.sleep(0.1) 结果是 0
"""
结论: 加锁相当于将程序的执行变成了串行, 所以结果是0
不加锁, 加time.sleep(0.1), 由于循环执行速度非常快, 在第一条循环还没执行完毕就碰上I/O阻塞(time.sleep(0.1)), 所以其他循环拿到的初始值也是100, 所以循环的结果相当于是只执行了一次
不加锁, 不加time.sleep(0.1), 还是由于线程执行速度非常快, 相当于循环顺序执行了一遍, 所以结果是0
"""
锁通常被用来实现对共享资源的同步访问。为每一个共享资源创建一个Lock对象,当你需要访问该资源时,调用acquire方法来获取锁对象(如果其它线程已经获得了该锁,则当前线程需等待其被释放),待资源访问完后,再调用release方法释放锁:
import threading
R=threading.Lock()
R.acquire() #
#R.acquire()如果这里还有一个acquire,你会发现,程序就阻塞在这里了,因为上面的锁已经被拿到了并且还没有释放的情况下,再去拿就阻塞住了
'''
对公共数据的操作
'''
R.release()
通过上面的代码示例1,我们看到多个线程抢占资源的情况,可以通过加锁来解决,看代码:
import os, time
from threading import Thread, Lock
def work():
global n
lock.acquire()
temp = n
time.sleep(0.1)
n = temp - 1
lock.release()
if __name__ == '__main__':
lock = Lock()
n = 100
l = []
for i in range(100):
t = Thread(target=work)
l.append(t)
t.start()
[tt.join() for tt in l]
print(n)
#结果肯定为0,由原来的并发执行变成串行,牺牲了执行效率保证了数据安全
4). GIL锁与互斥锁综合分析(重点)
#1.100个线程去抢GIL锁,即抢执行权限
#2. 肯定有一个线程先抢到GIL(暂且称为线程1),然后开始执行,一旦执行就会拿到lock.acquire()
#3. 极有可能线程1还未运行完毕,就有另外一个线程2抢到GIL,然后开始运行,但线程2发现互斥锁lock还未被线程1释放,于是阻塞,被迫交出执行权限,即释放GIL
#4.直到线程1重新抢到GIL,开始从上次暂停的位置继续执行,直到正常释放互斥锁lock,然后其他的线程再重复2 3 4的过程
5). 互斥锁与join的区别(重点)
#不加锁:并发执行,速度快,数据不安全
from threading import current_thread,Thread,Lock
import os,time
def task():
global n
print('%s is running' %current_thread().getName())
temp=n
time.sleep(0.5)
n=temp-1
# 上述这两个代码块应该分开来看, 互不影响
if __name__ == '__main__':
n=100
lock=Lock()
threads=[]
start_time=time.time()
for i in range(100):
t=Thread(target=task)
threads.append(t)
t.start()
for t in threads:
t.join()
stop_time=time.time()
print('主:%s n:%s' %(stop_time-start_time,n))
'''
Thread-1 is running
Thread-2 is running
......
Thread-100 is running
主:0.5216062068939209 n:99
'''
#不加锁:未加锁部分并发执行,加锁部分串行执行,速度慢,数据安全
from threading import current_thread,Thread,Lock
import os,time
def task():
#未加锁的代码并发运行
time.sleep(3)
print('%s start to run' %current_thread().getName())
global n
#加锁的代码串行运行
lock.acquire()
temp=n
time.sleep(0.5)
n=temp-1
lock.release()
if __name__ == '__main__':
n=100
lock=Lock()
threads=[]
start_time=time.time()
for i in range(100):
t=Thread(target=task)
threads.append(t)
t.start()
for t in threads:
t.join()
stop_time=time.time()
print('主:%s n:%s' %(stop_time-start_time,n))
'''
Thread-1 is running
Thread-2 is running
......
Thread-100 is running
主:53.294203758239746 n:0
'''
#既然加锁会让运行变成串行,那么我在start之后立即使用join,就不用加锁了啊,也是串行的效果啊
#没错:在start之后立刻使用jion,肯定会将100个任务的执行变成串行,毫无疑问,最终n的结果也肯定是0,是安全的,但问题是
#start后立即join:任务内的所有代码都是串行执行的,而加锁,只是加锁的部分即修改共享数据的部分是串行的
#单从保证数据安全方面,二者都可以实现,但很明显是加锁的效率更高.
from threading import current_thread,Thread,Lock
import os,time
def task():
time.sleep(3)
print('%s start to run' %current_thread().getName())
global n
temp=n
time.sleep(0.5)
n=temp-1
if __name__ == '__main__':
n=100
lock=Lock()
start_time=time.time()
for i in range(100):
t=Thread(target=task)
t.start()
t.join()
stop_time=time.time()
print('主:%s n:%s' %(stop_time-start_time,n))
'''
Thread-1 start to run
Thread-2 start to run
......
Thread-100 start to run
主:350.6937336921692 n:0 #耗时是多么的恐怖
'''
3. 死锁和递归锁
进程也有死锁与递归锁,在进程那里忘记说了,放到这里一切说了额,进程的死锁和线程的是一样的,而且一般情况下进程之间是数据不共享的,不需要加锁,由于线程是对全局的数据共享的,所以对于全局的数据进行操作的时候,要加锁。
1). 所谓死锁: 是指两个或两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程,如下就是死锁
from threading import Lock as Lock
import time
mutexA=Lock()
mutexA.acquire()
mutexA.acquire()
print(123)
mutexA.release()
mutexA.release()
更难一些的死锁现象:
import time
import threading
from threading import Thread, Lock
mutexA = Lock()
mutexB = Lock()
class MyThread(Thread):
def run(self):
name = threading.current_thread().getName()
self.func1()
self.func2()
def func1(self):
mutexA.acquire()
print(" 33[41m%s 拿到A锁>>>