迭代器(iterator)
迭代器协议：必须拥有__iter__方法和__next__方法。
迭代的概念
#迭代器即迭代的工具，那什么是迭代呢？ #迭代是一个重复的过程，每次重复即一次迭代，并且每次迭代的结果都是下一次迭代的初始值 while True: #只是单纯地重复，因而不是迭代 print('===>') L=[1,2,3] count=0 while count < len(L): #迭代 print(l[count]) count+=1
#dir() ----(展示所拥有的所有方法)
print(dir([1,2])) print(dir((2,3))) print(dir({'a':1,'b':2})) print(dir({1,2,3,4})) ##以下所展示的有双下方法：如'__add__', '__class__'它们是Python解释器的内部方法，也称为双下方法。是由C语言写的，可能不止一种方式调用它。
# ['__add__', '__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__imul__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__rmul__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'clear', 'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort'] # ['__add__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getnewargs__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__rmul__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'count', 'index'] # ['__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'clear', 'copy', 'fromkeys', 'get', 'items', 'keys', 'pop', 'popitem', 'setdefault', 'update', 'values'] # ['__and__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__iand__', '__init__', '__init_subclass__', '__ior__', '__isub__', '__iter__', '__ixor__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__or__', '__rand__', '__reduce__', '__reduce_ex__', '__repr__', '__ror__', '__rsub__', '__rxor__', '__setattr__', '__sizeof__', '__str__', '__sub__', '__subclasshook__', '__xor__', 'add', 'clear', 'copy', 'difference', 'difference_update', 'discard', 'intersection', 'intersection_update', 'isdisjoint', 'issubset', 'issuperset', 'pop', 'remove', 'symmetric_difference', 'symmetric_difference_update', 'union', 'update']
##双下方法:
print([1].__add__([2])) print([1]+[2]) ### [1, 2] [1, 2]
由上可以看出，可以被for循环的都是可迭代的，要想可迭代，内部必须要有一个__iter__方法。
首先，判断 int 类型有没有__iter__方法：
print("__iter__" in dir(int)) # False
##执行以下__iter__方法：
print([1,2].__iter__()) # <list_iterator object at 0x000001A68B0210B8> #生产一个迭代器
得到了一个list_iterator，此时我们又得到了一个新的名词——iterator。（迭代器）
同样的，可以对字典、集合、元祖进行__iter__操作
print((1,2,3).__iter__()) print({'a':1,'b':2}.__iter__()) print({1,2,3}.__iter__()) # <tuple_iterator object at 0x0000021688F61080> # <dict_keyiterator object at 0x0000021688E8A4A8> # <set_iterator object at 0x0000021688F60630>
同样的得到了tuple_iterator、dict_keyiterator、set_iterator，这就说明了它们都是可迭代的。
可以通过集合求差集来看迭代器与可迭代对象质检的差别。
print(set(dir([1,2].__iter__()))-set(dir([1,2]))) # {'__next__', '__length_hint__', '__setstate__'}
迭代器：必须拥有__iter__方法和__next__方法
print("__iter__" in dir([].__iter__())) print("__next__" in dir([].__iter__())) ### True True
############
from collections import Iterable from collections import Iterator print(isinstance([],Iterator)) print(isinstance([],Iterable )) ############ False True 列表是可迭代的，但不是一个迭代器
#####或者创造一个数据类型：
from collections import Iterable from collections import Iterator class A: def __iter__(self):pass def __next__(self):pass a = A() print(isinstance(a,Iterator)) print(isinstance(a,Iterable )) ### True True
再次说明，迭代器：必须拥有__iter__方法和__next__方法
PS：可迭代的.__iter__()方法就可以得到一个迭代器
迭代器中的__next__()方法可以一个一个获取值
######################################补充说明###############################################
#1、为何要有迭代器？ 对于序列类型：字符串、列表、元组，我们可以使用索引的方式迭代取出其包含的元素。但对于字典、集合、文件等类型是没有索引的，若还想取出其内部包含的元素，则必须找出一种不依赖于索引的迭代方式，这就是迭代器 #2、什么是可迭代对象？ 可迭代对象指的是内置有__iter__方法的对象，即obj.__iter__，如下 'hello'.__iter__ (1,2,3).__iter__ [1,2,3].__iter__ {'a':1}.__iter__ {'a','b'}.__iter__ open('a.txt').__iter__ #3、什么是迭代器对象？ 可迭代对象执行obj.__iter__()得到的结果就是迭代器对象 而迭代器对象指的是即内置有__iter__又内置有__next__方法的对象 文件类型是迭代器对象 open('a.txt').__iter__() open('a.txt').__next__() #4、注意： 迭代器对象一定是可迭代对象，而可迭代对象不一定是迭代器对象
迭代器的作用：
dic={'a':1,'b':2,'c':3}
iter_dic=dic.__iter__() #得到迭代器对象，迭代器对象即有__iter__又有__next__，但是：迭代器.__iter__()得到的仍然是迭代器本身
iter_dic.__iter__() is iter_dic #True
print(iter_dic.__next__()) #等同于next(iter_dic)
print(iter_dic.__next__()) #等同于next(iter_dic)
print(iter_dic.__next__()) #等同于next(iter_dic)
# print(iter_dic.__next__()) #抛出异常StopIteration，或者说结束标志
#有了迭代器，我们就可以不依赖索引迭代取值了
iter_dic=dic.__iter__()
while 1:
try:
k=next(iter_dic)
print(dic[k])
except StopIteration:
break
#这么写太丑陋了，需要我们自己捕捉异常，控制next，python这么牛逼，能不能帮我解决呢？能，请看for循环
for循环：（for循环其实就是在使用迭代器）
#基于for循环，我们可以完全不再依赖索引去取值了 dic={'a':1,'b':2,'c':3} for k in dic: print(dic[k]) #for循环的工作原理 #1：执行in后对象的dic.__iter__()方法，得到一个迭代器对象iter_dic #2: 执行next(iter_dic),将得到的值赋值给k,然后执行循环体代码 #3: 重复过程2，直到捕捉到异常StopIteration,结束循环
迭代器的优缺点：
#优点： - 提供一种统一的、不依赖于索引的迭代方式 （方便使用，从容器数据类型中一个一个取值，并把所有的值都取到） - 惰性计算，节省内存（迭代器并不会在内存中占用一大块内存来保存数据，而是随着循环，每次只生成一个数据） #缺点： - 无法获取长度（只有在next完毕才知道到底有几个值） - 一次性的，只能往后走，不能往前退
#只有可迭代对象的时候才能用for循环
#当遇到一个变量，不确定是否能用for循环是，先判断它是否可迭代
#############################################################################################
生成器
什么是生成器(生成器的本质是迭代器)
#只要函数内部包含有yield关键字，那么函数名()的到的结果就是生成器，并且不会执行函数内部代码
#含有yield关键字的函数就是 生成器函数
#调用生成器函数的时候，函数不执行，而是返回一个生成器
#每次调研阶段next方法，就会取到一个值得
#直达取到最后一个，再采用next方法就会报错
def generator():
print('====>first') yield 1 print('====>second') yield 2 print('====>third') yield 3 print('====>end') g = generator() print(g) #<generator object generator at 0x00000299A9D16AF0> print(g.__next__()) print(g.__next__()) print(g.__next__())
################
或者：
for i in g:
print(i) ##### <generator object generator at 0x00000299A9D16AF0> ====>first 1 ====>second 2 ====>third 3
##wahaha:
# 哇哈哈%i def wahaha(): for i in range(100): yield "哇哈哈%d"%i g = wahaha() count = 0 for i in g: count += 1 print(i) if count > 10: break print("****",g.__next__()) #生成器记录当前的位置以及下一步要走的位置 ### 哇哈哈0 哇哈哈1 哇哈哈2 哇哈哈3 哇哈哈4 哇哈哈5 哇哈哈6 哇哈哈7 哇哈哈8 哇哈哈9 哇哈哈10 **** 哇哈哈11
#监听过滤文件,文件有“Python”就打印 def tail(filename): f = open(filename,encoding="utf-8") while 1: line = f.readline() if line.strip(): yield line.strip() g = tail("file") for i in g: if "python" in i: print("$$$$$",i)
生成器表现形式：
1.生成器函数
#含有yield关键字的函数就是生成器函数
#特点：调用函数之后，函数不执行，而是返回一个生成器；每次调用next方法的时候会取到一个值；直到取到最后一个，再执行next会报错
2.生成器表达式
#从生成器中取值的方法：next；for；数据类型的强制转换，占内存。
生成器进阶：
send获取下一个值的效果和next基本一样，只是在获取下一个值的时候，给上一个yield的位置传递一个数据
使用send的注意事项
1)、send作用范围和next一样
2)、第一次使用生成器的时候，是用next方法获取下一个值
3)、最后一个yield不能接受外部的值
def generator(): print(123) content=yield 1 print("========",content) arg = yield 2 '''''' yield g = generator() ret = g.__next__() print("$$$$$$$$",ret) ret = g.send("Hello!") # send 的效果和next一样 print("########",ret) ### 123 $$$$$$$$ 1 ======== Hello! ######## 2
##用生成器，获取移动平均值#移动平均值
def average(): sum = 0 count = 0 avg = 0 while 1: num = yield avg sum += num count += 1 avg = sum/count avg_g = average() avg_g.__next__() print(avg_g.send(10)) print(avg_g.send(20)
print(avg_g.send(30))
###
10.0
15.0
20.0
#带装饰器的移动平均值;#在调用被装饰生成器函数的时候首先用next激活生成器
#预激生成器： def init(func): def inner(*args,**kwargs): g = func(*args,**kwargs) next(g) #g.__next__() return g return inner @init def average(): sum = 0 count = 0 avg = 0 while 1: num = yield avg sum += num count += 1 avg = sum/count avg_g = average() print(avg_g.send(10)) print(avg_g.send(20)) print(avg_g.send(30))
###
10.0
15.0
20.0
#在调用被装饰生成器函数的时候首先用next激活生成器
###yield from
##
def gen1():
for c in 'AB':
yield c
for i in range(3):
yield i
print(list(gen1())) #数据类型的强制转换
#['A', 'B', 0, 1, 2]
##
def gen2():
yield from 'AB'
yield from range(3)
print(list(gen2()))
##
['A', 'B', 0, 1, 2]
#python3的新功能（yield from） def generator(): a = "AB" b = "22" yield from a yield from b g = generator() for i in g: print(i) ## A B 2 2
列表推导式和生成器表达式
#列表推导式 egg_list = ["egg %d" %i for i in range(10)] print(egg_list) #或者用for循环 egg_list = [] for i in range(10): egg_list.append("egg %d" %i) print(egg_list) print([i*i for i in range(10)]) ### ['egg 0', 'egg 1', 'egg 2', 'egg 3', 'egg 4', 'egg 5', 'egg 6', 'egg 7', 'egg 8', 'egg 9'] ['egg 0', 'egg 1', 'egg 2', 'egg 3', 'egg 4', 'egg 5', 'egg 6', 'egg 7', 'egg 8', 'egg 9'] [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
##生成器表达式
#生成器表达式 g = (i for i in range(10)) print(g) #返回一个生成器，几乎不占用内存 for i in g: print(i) ## <generator object <genexpr> at 0x00000262E6CE6308> 0 1 2 3 4 5 6 7 8 9
###各种推导式：
[满足条件的元素 for 元素 in 可迭代的数据类型 if 元素满足的相关条件 ] #筛选功能
例一：30以内所有能被3整除的数
multiples = [i for i in range(30) if i % 3 is 0] print(multiples) # Output: [0, 3, 6, 9, 12, 15, 18, 21, 24, 27]
例二：30以内所有能被3整除的数的平方
def squared(x): return x*x multiples = [squared(i) for i in range(30) if i % 3 is 0] print(multiples)
或者：
lst = [i*i for i in range(30) if i % 3 ==0] print(lst) ## [0, 9, 36, 81, 144, 225, 324, 441, 576, 729]
例三:找到嵌套列表中名字含有两个‘e’的所有名字
names = [['Tom', 'Billy', 'Jefferson', 'Andrew', 'Wesley', 'Steven', 'Joe'], ['Alice', 'Jill', 'Ana', 'Wendy', 'Jennifer', 'Sherry', 'Eva']] print([name for lst in names for name in lst if name.count('e') >= 2]) # 注意遍历顺序，这是实现的关键 #['Jefferson', 'Wesley', 'Steven', 'Jennifer']