python 多线程

基础:

什么是进程(process)?

每一个程序的内存是独立的,例如:world不能访问QQ。 

进程:QQ是以一个整体的形式暴露给操作系统管理,里面包含了各种资源的调用(内存管理、网络接口调用等)。启动一个QQ,也就是启动了一个进程。

什么是线程(thread)?

线程是操作系统能够进行运算调度的最小单位。线程包含在进程之中,是进程中的实际运作单位。

一个进程中最少有一个线程

一个线程时指 进程中一个单一顺序的控制流。

一个进程中可以并发多个线程,每条线程并行执行不同的任务,线程与线程之间是相互独立的。

线程和进程的区别:

进程:对各种资源管理的集合

线程:操作系统最小的调度单位,是一串指令的集合

关系:

进程中第一个线程是主线程(就是程序),主线程创建其他线程,其他线程也可以创建线程,线程之间是平等的;

线程可以共享进程资源;

线程之间数据可以共享,资源不共享,相互独立;

主线程与其他线程并行执行,默认主线程可以不等待其他线程执行结束;

进程有父进程、子进程,独立的内存空间,唯一的进程标识符,pid;

什么是上下文切换?

上下文切换,也称做进程切换或者任务切换,是指cpu从一个进程或线程切换到另一个进程或线程。举例说明,如下:

a.开启QQ和微信,先聊QQ,然后切换到微信进行聊天,再切换到QQ,这个操作就叫做上下文切换。

b.同时开启多个应用,电脑cpu配置是4核,多个应用之间进行切换时,没有卡顿现象 也完全感受不到cpu在进行任务切换,因为cpu处理很快,所以应用之间切换没有卡顿现象;

单线程:

import time
import requests

def get_res():
    urls = [
        'http://www.baidu.com',
        'https://www.taobao.com/',
        'https://www.jd.com/',
        'http://www.meilishuo.com/'
    ]
    start = time.time()
    for url in urls:
        print(url)
        resp = requests.get(url)
        print(resp)
    end = time.time()
    print('单线程运行时间:', end - start)

执行结果,顺序执行:

http://www.baidu.com
<Response [200]>
https://www.taobao.com/
<Response [200]>
https://www.jd.com/
<Response [200]>
http://www.meilishuo.com/
<Response [200]>
单线程运行时间: 1.0470597743988037

解释:

a. cpu顺序被请求

b.除非cpu从一个url获取的响应,否则不会去请求下一个url

c. 网络请求会花费较长的时间,所以cpu在等待网络请求的返回时间内一直处于闲置状态

 多线程:

import time
import threading

def run(count):
    #每次执行该方法,需要休息2s
    time.sleep(2)
    print(count)

#开始创建多线程
start = time.time()
for i in range(5):
    #创建线程,指定运行哪个函数,也就是指定哪个函数运行需要创建多线程
    #target=要运行的函数名
    # args=函数运行传入的参数,run方法需要传入count,把创建
    th = threading.Thread(target=run, args=(i, ))
    #启动线程
    th.start()
#多线程创建完毕且运行结束
end = time.time()
print('运行时间:', end - start)

运行结果:

运行时间: 0.0
1
0
4
2
3

解释:

a. 打印出来的运行时间统计的不是多线程的运行时间,因为没有运行run都要等待2s,所以多线程的运行时间至少为2s,那么打印的结果是什么?

  打印的运行时间是 主线程的运行时间,因为在运行python文件时,如果不启动多线程,至少有一个线程在运行

  线程与线程之间是相互独立的,最开始运行的是主线程,当运行到threading.Thread时,创建一个线程,创建的线程执行循环方,主线程执行其他操作

  主线程不等待其他线程结束后再结束

b. 打印出的count数据是无序的,因为多线程运行run方法,并不是第一个请求结束后才进行下一个请求的,而是创建一个线程后执行run方法,接着创建另一个线程,哪个线程执行完毕就会打印出结果

c. 总共创建了5个线程

若想统计多线程总共的执行时间,也就是从开始创建线程 到 线程结束运行之间的时间(不需要考虑线程之间怎么运行的),操作如下:

join()等待 (等待线程结束)

  • 子线程启动成功 
  • 主线程需要等待子线程运行结束,才执行后续代码
import time
import threading

def run(count):
    #每次执行该方法,需要休息2s
    time.sleep(2)
    print(count)

#开始创建多线程
start = time.time()
#存放创建的所有线程
threads_list = []
for i in range(5):
    #创建线程,指定运行哪个函数,也就是指定哪个函数运行需要创建多线程
    #target=要运行的函数名
    # args=函数运行传入的参数,run方法需要传入count
    th = threading.Thread(target=run, args=(i, ))
    #启动线程
    th.start()
    #把启动的每一个线程添加到线程组内
    threads_list.append(th)

for t in threads_list:
    #主线程循环等待每个子线程运行完毕, t代表每个子线程
    t.join()  #等待线程结束

#多线程创建完毕且运行结束
end = time.time()
print('运行时间:', end - start)

执行结果:

0
1
2
4
3
运行时间: 2.0011146068573

 守护线程

  • 守护线程:主线程运行结束后,不管守护线程执行是否结束,都会结束,举例说明:
  • 比如皇帝有很多仆人,当皇帝死了之后,那么多仆人就得陪葬。
  • 只要非守护线程结束了,不管守护线程结束没结束,程序都结束
  • 必须在启动线程(start)前,设置守护线程
  • 子线程都为守护线程,守护主线程,主线运行结束或者退出前,都不会告知子线程
import threading
import time

def run(count):
    time.sleep(2)
    print(count)

for i in range(5):
    #循环创建线程,总共5个线程
    t = threading.Thread(target=run, args=(i, ))
    #设置守护线程,新创建的这些线程都是 主线程的 守护线程, 主线程创建一个线程后 就运行结束了
    t.setDaemon(True)
#启动线程,守护线程设置必须在start前面
    t.start()
print('over')

GIL 全局解释器锁

例如 4核机器上 
Python创建4线程,四个线程均匀分到多核上,但是同时只能一核在处理数据。 
python调用操作系统、C语音的原生接口,在出口做了设置。全局解释器锁,保证数据统一 
所以有人说python的线程是假线程。 
在修改数据的时候,为了防止数据改乱了,所以多线程就变成串行处理,但是以为是python在处理,实际上是调用了操作系统的C语音的线程接口,所以中间的过程,python控制不了了,只知道结果。在这种情况下,设置的方式是出口控制,虽然四个线程,但是同一时间只有一个线程在工作。 
  
所以这算是python的一个缺陷,但是也不能说是python的缺陷,是Cpython的缺陷。因为Cpython是C语音写的,以后python的未来是PYPY。 

线程锁

线程锁,又叫互斥锁

线程之间沟通:保证同一时间只有一个线程修改数据

python2.x 中需要加锁,Python3.x中加不加锁都一样,因为解释器做了优化

import threading
from threading import Lock

#创建lock对象
num = 0
lock = Lock()   #申请一把锁,创建锁的对象
def run2():
    global num
    lock.acquire()      #修改数据前 加锁
    num += 1
    lock.release()      #修改后释放解锁

lis = []
for i in range(5):
    #创建线程
    t = threading.Thread(target=run2)
    #启动线程
    t.start()
    #将启动的线程添加到线程组内
    lis.append(t)

for t in lis:
    #等待线程运行结束
    t.join()
#num的值为5,执行多次后,会出现不一样的值
print('over', num)

RLock 递归锁

大锁中还有小锁、递归锁,解锁时就混了,所以用递归锁,Rlock()

import threading,time

def run1():
    print("grab the first part data")
    lock.acquire()
    global num
    num +=1
    lock.release()
    return num
def run2():
    print("grab the second part data")
    lock.acquire()
    global  num2
    num2+=1
    lock.release()
    return num2
def run3():
    lock.acquire()
    res = run1()
    print('--------between run1 and run2-----')
    res2 = run2()
    lock.release()
    print(res,res2)

if __name__ == '__main__':

    num,num2 = 0,0
    lock = threading.RLock()  # 声明递归锁
    # lock = threading.Lock() # 用互斥锁,会锁死了,弄混锁情况,可以试一下
    for i in range(10):
        t = threading.Thread(target=run3)
        t.start()

    while threading.active_count() != 1:
        print(threading.active_count())
    else:
        print('----all threads done---')
        print(num,num2)

 多线程的另一种写法:

import threading
import time
class MyThread(threading.Thread):
    def __init__(self, num):
        threading.Thread.__init__(self)
        self.num = num
    def run(self):  # 定义每个线程要运行的函数
        print("running on number:%s" % self.num)
        time.sleep(3)

if __name__ == '__main__':
    t1 = MyThread(1)
    t2 = MyThread(2)
    t1.start()
    t2.start()

多进程(了解即可):

python里面的多线程,是不能利用多核cpu的,如果想利用多核cpu的话,就得使用多进程

多进程适用CPU密集型任务

多线程适用io密集型任务

from multiprocessing import Process
def f(name):
    time.sleep(2)
    print('hello', name)

if __name__ == '__main__':
    for i in range(10):
        p = Process(target=f, args=('niu',))
        p.start()
转载请务必保留此出处:http://www.cnblogs.com/lhly/p/7163791.html

原文地址:https://www.cnblogs.com/lhly/p/7163791.html