【Python】迭代器、生成器、yield单线程异步并发实现详解

转自http://blog.itpub.net/29018063/viewspace-2079767  

大家在学习python开发时可能经常对迭代器、生成器、yield关键字用法有所疑惑,在这篇文章将从理论+程序调试验证的方式详细讲解这部分知识,话不多说,直接进入主题。

一、迭代器(Iterater):
     首先介绍迭代器,迭代器是访问集合元素的一种方式,迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。是不是觉得跟for循环很像?但是迭代器有几个特性需记住:
    1、访问者不需要关心迭代器内部结构,只需不断执行next()方法获取下一个内容;
    2、不能随机访问集合中的某个值,只能从头到尾顺序的读取;
    3、访问到一半时不能回退,不能访问之前的值;
    4、适合遍历很大的数据集合,节省内存,提升速度。

    根据以上几个特性应该对迭代器有所了解了吧,我这里再举一个例子便于加深理解,大家都玩过linux,在linux中有两个命令,vi和cat,作用都是显示出文件的内容,而当一个文件很大(比如1G)时,使用vi命令打开文件则明显变慢,都有体会吧,会卡很久;而使用cat命令则没有这个问题,无论多大的文件,执行cat命令时都会马上从文件第一行数据开始打印;其实原因也很简单,使用vi时需要将整个文件加载到内存中再显示出来,而使用cat时则从文件第一行记录开始逐行的读取到内存中显示,而已读取过的内容则直接释放掉,这样每次读取到内存中只有一行记录响应速度当然快了。
    其实这里的cat正是运用了迭代器的思想,迭代器每次顺序取集合中的一个值到内存,用完即作废,再取下一个值,对应特性1,对于很大的文件遍历则速度很快,对应特性4;则缺点也是明显的,迭代器不能取集合中间某个值,对应特性2;前一个值读取完即回收内存,所以无法重复读取,对应特性3;讲到这里大家应该已经能充分理解迭代器的原理了,下面进行代码演示:
    1、创建一个迭代器:
    a = iter(["wang","xuqian","xiaozhuzi"])    # 已创建一个迭代器对象,设置好需要迭代的值
    2、遍历迭代器数据:
    print(a.__next__()) 
    print(a.__next__()) 
    print(a.__next__())    # 有三个值,于是执行三次next()方法
    3、结果:
    wang
    xuqian
    xiaozhuzi
    就是这么简单,由于迭代器的特性,我们只能顺序依次进行取值,不能像list那样可以取集合中的任意值,在这里三个值都取出后如果再执行a.__next__(),则会报错:“已停止迭代”
    Traceback (most recent call last):
    print(a.__next__())
    StopIteration

二、生成器(Generator)和yield关键字:
    生成器定义:当一个函数被调用时,返回一个迭代器,那么这个函数就叫做生成器,如果函数中包括yield语法,则这个函数就是一个生成器
    yield:效果就是使函数中断,并保存中断的状态,中断后,代码可以继续往下执行,过一段时间还可以重新调用这个函数,并且可以从上次yield的下面的一句代码开始执行;yield可以返回值,也可以接收send来的参数。
    生成器和yield的解释比较抽象难以理解,别急,下面通过调试代码的方式展示他们的用法,以及yield的魅力!~
    def cash(account):                # 先定义一个函数,接收一个参数
        while account > 0:            # 当参数>0时
        account -= 100                 #减去100
        yield 100                     #中断函数吗,返回100
        print("又来取钱啦!")        #打印
    根据生成器的定义,此时cash函数即为一个生成器,作为一个生成器,当被调用后产生的生成器对象肯定是支持迭代器接口,也就是生成器返回一个迭代器,下面我们进行验证:
    a = cash(500)        # 调用生成器,生成迭代器
    print(a.__next__())    # 运用迭代器的next()方法打印第一个迭代值
     执行结果为:100
    以上验证了调用生成器cash后的确生成了一个迭代器,关于迭代器应该没有什么疑问了,可以持续next()取值直到 account == 0;而大家现在一定有个疑问,这里面的yield关键字的作用是什么?为什么打印结果没有print("又来取钱啦!")?那么下面我跑一遍程序,通过结果来分析代码执行顺序:
    def cash(account):
         while account > 0:
         account -= 100 
         yield 100 
         print("从我开始往下执行!") print("代码已经执行完啦")

    a = cash(500) 
    print("第0次执行我") 
    print(a.__next__()) 
    print("第一次执行我") 
    print(a.__next__())

运行结果为:     
    第0次执行我
    100
    第一次执行我
    从我开始往下执行!
    代码已经执行完啦!
    100
    
    从运行结果可以推断出,当程序进行到a = cash(500) 时,函数并没有进行调用而是继续往下走打印“第0次执行我”,为什么?其实正是因为在函数定义的时候,检测到函数中写了yield关键字,此时这个函数就变成了一个生成器,于是函数暂停运行;当执行到第一个print(a.__next__()) 时,才开始真正的调用函数了,函数执行到yield 100 时,根据yield的特性,函数中断返回100并打印,程序继续向下执行打印“第一次执行我”;当执行到第二个print(a.__next__()) 时,继续调用函数,根据yield的特性,会接着上一次中断的位置继续执行函数于是打印“从我开始往下执行!”“代码已经执行完啦”,而根据函数中的while循环,会再次执行循环代码,直到 yield 100,函数再次中断返回100并打印。到此,程序执行完毕!

三、yield单线程异步并发实现
    根据以上程序演示,大家应该对yield和生成器的特性理解更加深刻了吧,yield打破了常规的代码执行顺序,甚至能跳出循环,而且下一次调用函数(生成器)时还可以接着上次的代码向下执行,是不是很牛X?那么,yield的特性到底有什么用呢?
    举个例子,我去银行取钱,加入取款额度较大,100万~,银行则需要审核、调配资金等手续,假如需要1天的时间,那么这一天我都要等在那里,这显然是不合理的吧。最好的办法是我继续做别的事情,等银行审批结束后再通知我去取钱。对于我们写的代码也是一样,由于我们是单线程串行执行代码,当调用一个函数时,如果这个函数迟迟不返回结果怎么办?按照之前的思路,那么程序只能卡死在那里一直等待,就和去取钱等银行审批一个道理;而yield的特性,打破了这一约束,使得我们在单线程编程的过程中,依然可以实现异步并发!下面再看一段代码:
    import time
     def consumer(name):
         print("%s 准备吃烧烤啦!" %name) 
         while True:
             shaokao = yield 
           print("烧烤%s被%s吃了!" %(shaokao,name)) 

    def producter(name):
        c = consumer("A")
        c1 = consumer("B")
        c.__next__()
        c1.__next__()
        print("开始生火烤串啦!")
        for i in range(3):
            time.sleep(1) 
            print("烤了两串羊肉")
            c.send(i)
            c1.send(i)

producter("jiaqi")

根据前面讲的知识,应该可以得出执行结果:
    A 准备吃烧烤啦!
    B 准备吃烧烤啦!
    开始生火烤串啦!
    烤了两串羊肉
    烧烤0被A吃了!
    烧烤0被B吃了!
    烤了两串羊肉
    烧烤1被A吃了!
    烧烤1被B吃了!
    烤了两串羊肉
    烧烤2被A吃了!
    烧烤2被B吃了!
    
    这里就实现了异步并发控制,一个函数和生成器之间调用,通过yield实现;这里面还有个知识点,c.send(i),前面讲过yield不仅能返回值,而且还能接收值,在这里send()大家可以理解为与next()一样,都是触发调用生成器中的代码,但next()可以理解为传一个空值给yield,send()则可传一个实际的值给yield。以上代码中将i值传给了生成器consumer中的Yield

原文地址:https://www.cnblogs.com/ymy124/p/5470590.html