铁乐学python_day13_迭代器生成器

一、【可迭代对象Iterable】

粗略判断的话,我们可以说能被for循环进行遍历的对象就是可迭代对象,如str,list,tuple,dict(key),set,range。
(open file 中的文件句柄属于迭代器的一种。)

如果想要更直观的判断的话,在这里我们使用dir()方法查看一下对象所有的可操作方法:

s ='hello,wutiele'
print(dir(s))
显示:

['__add__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getnewargs__', '__gt__', '__hash__', '__init__', '__iter__', '__le__', '__len__', '__lt__', '__mod__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__rmod__', '__rmul__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'capitalize', 'casefold', 'center', 'count', 'encode', 'endswith', 'expandtabs', 'find', 'format', 'format_map', 'index', 'isalnum', 'isalpha', 'isdecimal', 'isdigit', 'isidentifier', 'islower', 'isnumeric', 'isprintable', 'isspace', 'istitle', 'isupper', 'join', 'ljust', 'lower', 'lstrip', 'maketrans', 'partition', 'replace', 'rfind', 'rindex', 'rjust', 'rpartition', 'rsplit', 'rstrip', 'split', 'splitlines', 'startswith', 'strip', 'swapcase', 'title', 'translate', 'upper', 'zfill']

同样,dir列表,元祖,字典等类型的对象时也可以查看到有'iter'操作方法。
当然,上面的方法查看太麻烦,我们可以使用in的方法判断,返回布尔值为真的就是操作方法中有'iter'的,如:

l1 = ['lv1', 'lv2', 'lv3', 'lv4', 'lv5']
print('__iter__' in dir(l1))

显示:
True

所以我们又可以说,内部含有'__iter__'方法的对象是可迭代对象。
可迭代对象遵循可迭代协议,可迭代协议的定义非常简单,就是内部实现了__iter__方法。
还有一种方法可以直观判断,那就是isinstance:
from collections import Iterable
t1 = ('枪兵', '射手', '剑士', '僧侣')
print(isinstance(t1, tuple))
print(isinstance(t1, Iterable))

显示:
True
True

isinstance同样作为判断类型的方法,它比type方法判断面更广,且返回的值是布尔值。

二、【迭代器Iterator】

迭代器英文是iterator。

迭代器比起可迭代对象来说,其实它只多包含了一个操作方法,那就是'__next__'方法。

下面使用__iter__将可迭代对象转化成迭代器,然后使用__next__方法操作一番,可以看到这个方法是做什么用的:
from collections import Iterable
t1 = ('枪兵', '射手', '剑士', '僧侣')

t1_obj = t1.__iter__()
print(t1_obj)
print(type(t1_obj))
print(isinstance(t1_obj, Iterator))
print(isinstance(t1_obj, tuple))

输出结果
<tuple_iterator object at 0x0000000000D90DA0>
<class 'tuple_iterator'>
True
False

可迭代对象转化成迭代器:可迭代对象.__iter__()
上例使用print和type查看从tuple转化的迭代器可以看到类型己经变成了tuple_iterator。

迭代器.__next__()
t1 = ('枪兵', '射手', '剑士', '僧侣')
t1_obj = t1.__iter__()

print(t1_obj.__next__())
print(t1_obj.__next__())
print(t1_obj.__next__())
print(t1_obj.__next__())

# 返回
枪兵
射手
剑士
僧侣

如果再操作多一次.__next__会怎样?从头循环开始吗?答案是:
报错,StopIteration异常。

    print(t1_obj.__next__())
StopIteration

__next__方法每一次只会取出迭代器中的一个元素,是不是和for循环时的操作有点像?
其实for循环一个可迭代对像时,用到的就有__next__操作方法。

迭代器遵循迭代器协议:对象不仅含有__iter__方法,同时还含有__next__方法。

for循环,能遍历一个可迭代对象,他的内部到底进行了什么?
 将可迭代对象转化成迭代器。(可迭代对象.__iter__())
 内部使用__next__方法,一个一个取值。
 加了异常处理功能,取值到底后自动停止。

【使用while模拟for循环机制】
li = [i for i in range(1, 100)]
# 转换成迭代器
l1_obj = li.__iter__()
while True:
    # 异常处理,尝试进行try块区的语句,如果报错就执行except块区语句处理异常。
    try:
        j = l1_obj.__next__()
        print(j)
    # 当出现StopIteration异常时,不报错而是执行break中断while循环。
    except StopIteration:
        break

那么,使用for循环相比while,也就是迭代器它有什么好处呢?
首先没有迭代器的话,while只能处理有下标的列表,字符串和元祖,字典,集合,文件就不方便了;
其次,对大数据来说,使用迭代器比起直接使用列表(比如一百万个元素的列表),字符串(超大文本的日志)等节省内存空间多了,因为它的惰性机制,它生成后,只会在内存空间占用一条元素的空间;
满足惰性机制,取一个值才输出一个值;
同样由于怠惰,迭代器也不能反复取值(不能逆向或取到尽时重头又来),它内部有一个指针,取一个就指向到下一个,一直向前,不会反复。
迭代器最大的好处就是节省内存空间。

三、【生成器Generator】

生成器本质上也是迭代器(自带了__iter__方法和__next__方法),特点是惰性运算,开发者自定义。

目前知道的迭代器有两种:
一种是调用方法直接返回的;
一种是可迭代对象通过执行iter方法得到的。
迭代器的好处是可以节省内存。
如果在某些情况下,我们也需要节省内存,就只能自己写。自己写的这个能实现迭代器功能的东西就叫生成器。

生成器产生迭代器的方式:
1)生成器函数构造;
函数体中使用yield语句而不是return语句返回结果。
也就是说你只要在一个函数的函数体中看到有yield,你就知道它不是一个常规函数,而是一个生成器了。
yield语句一次返回一个结果,在每个结果中间,挂起函数的状态,以便下次重它离开的地方继续执行。
2)用生成器推导式构造;
3)数据类型的转化。

【生成器函数】

一个包含yield关键字的函数就是一个生成器函数。yield可以为我们从函数中返回值,但是yield又不同于return,return的执行意味着程序的结束,调用生成器函数不会得到返回的具体的值,而是得到一个可迭代的对象。每一次获取这个可迭代对象的值,就能推动函数的执行,获取新的返回值。直到函数执行结束。

【next】

例:next()取出生成器的值:

import time
def genrator_fun():
    lv1 = '枪兵*14'
    print('人族可以产出1级兵了!')
    yield lv1
    lv2 = '弓箭手*8'
    print('人族可以产出2级兵了!')
    yield lv2

g = genrator_fun()
print('g:', g) # 打印g输出生成器类型
print('-'*12, '我是华丽的分割线', '-'*12)
print(next(g)) # 使用next方法取出g生成器的第一个值(yield)
time.sleep(1)
print(next(g)) # 第二次执行取的是第二个值

g: <generator object genrator_fun at 0x0000000000DB86D0>
------------ 我是华丽的分割线 ------------
人族可以产出1级兵了!
枪兵*14
人族可以产出2级兵了!
弓箭手*8

例2:指针会顺着取出的值执行下去
def dead_sold():
    # 可怕的亡灵大军,己经累积到1万个骷髅兵了!
    for i in range(1, 10001):
        yield '可怕的亡灵大军,己经累积到第 %s 个骷髅兵了!' % i
d = dead_sold() # 将函数赋值给一个变量,不然直接在下面的式子用会反复只取到第1个骷髅
for i in range(50):
    print(d.__next__())
print('华丽分割线'.center(30, '-'))
for i in range(150):
    print(d.__next__())

可怕的亡灵大军,己经累积到第 47 个骷髅兵了!
可怕的亡灵大军,己经累积到第 48 个骷髅兵了!
可怕的亡灵大军,己经累积到第 49 个骷髅兵了!
可怕的亡灵大军,己经累积到第 50 个骷髅兵了!
------------华丽分割线-------------
可怕的亡灵大军,己经累积到第 51 个骷髅兵了!
可怕的亡灵大军,己经累积到第 52 个骷髅兵了!
可怕的亡灵大军,己经累积到第 53 个骷髅兵了!

上例中,取到第50个值时,再执行取值的语句时不会从第1个起执行,而是顺着51开始。

【send】

send和__next__()一样,都是执行下一个yield,不同的是,send还可以给上一个yield赋值。
当然,函数体中第一个取值语句不能为send,因为第一个之前并没有yield可给它进行赋值。
同样,最后一个yield不能接受send的赋值,因为最后一个后面并不能再取出值了。
send是取值和赋值同时进行的,且赋的是上一个yield的值。
def generator():
    content = yield 1
    print('=======', content, '=======') # 打印上一个yield的值
    yield 2
    yield 3

g = generator()
ret = g.__next__()
print('***', ret)
ret = g.send('hello')   #send赋值给上一个yield
print('***', ret)

*** 1
======= hello =======
*** 2

【列表推导式和生成器表达式】

列表生成式即List Comprehensions,是Python内置的非常简单却强大的可以用来创建list的生成式。
例,创建1到10的列表:
l = [i for i in range(1,10)]

1.把列表解析的[]换成()得到的就是生成器表达式
2.列表解析与生成器表达式都是一种便利的编程方式,只不过生成器表达式更节省内存。
3.Python不但使用迭代器协议,让for循环变得更加通用。
大部分内置函数,也是使用迭代器协议访问对象的。
例如,sum函数是Python的内置函数,该函数使用迭代器协议访问对象,而生成器实现了迭代器协议,所以,我们可以直接这样计算一系列值的和:
sum(x ** 2 for x in range(1,11))

【补充】
1、可以直接作用于for循环的对象统称为可迭代对像;
2、可以被next()函数调用并不断返回下一个值的对象称为迭代器(iterator);
3、生成器不但可以作用于for循环,还可以被next()函数不断调用并返回下一个值,直到最后抛出stopIteration错误表示无法继续下一个值。
end
2018-4-4

原文地址:https://www.cnblogs.com/tielemao/p/8719221.html