python中的迭代器与生成器

一、迭代器

实现一个迭代器，应满足如下条件：

python2中，实现next()方法的类（python3可用__next__()取代）
可变对象，unhashable type
总是返回当前迭代位置之前的值（有限长度的迭代器，无法迭代最后值）
产生StopIteration异常，证明到达迭代器末尾
简单示例

#!/usr/bin/env python
class SampleIter:
"""
sample iterator
>>> sampleIter = SampleIter()
>>> sampleIter.next()
'a'
>>> sampleIter.next()
'b'
>>> sampleIter.next()
Traceback (most recent call last):
...
StopIteration
"""
def __init__(self, start='a', end='c'):
self.next_letter = start
self.end = end
def next(self):
"""In python3, better to use __next__"""
if self.next_letter == self.end:
raise StopIteration
current = self.next_letter
self.next_letter = chr(ord(current)+1)
return current

if __name__ == '__main__':
import doctest
doctest.testmod()

二、可迭代对象

能被for语句遍历的对象是可迭代的，一个迭代对象需要实现__iter__方法。

可迭代对象需要在__iter__方法里返回一个迭代器
同一个可迭代对象可以被迭代多次
通常将迭代器实现为可迭代对象

简单示例

class SampleIterable:
"""
sample iterator
>>> sampleIterable = SampleIterable()
>>> sampleIter = sampleIterable.__iter__()
>>> sampleIter.next()
'a'
>>> sampleIter.next()
'b'
>>> sampleIter.next()
Traceback (most recent call last):
...
StopIteration
>>> for letter in sampleIterable:
...     letter
'a'
'b'
"""
def __init__(self, start='a', end='c'):
self.start = start
self.end = end
def __iter__(self):
return SampleIter(self.start, self.end)

三、生成器

生成器是迭代器的一种类型，不再用return关键字返回值，而是用yield关键字取代。

当调用包含yield的方法时，并不会直接执行方法，而是返回一个generator对象
函数执行到yield关键字的时候，会返回yield后面表达式的值，然后挂起方法直到下一次循环
简单代码

def sample_generator():
"""
sample generator
>>> g = (x for x in range(3))
>>> type(g)
<type 'generator'>
>>> d = {}
>>> d[g] = 1 #no error,hashable type
>>> type(sample_generator())
<type 'generator'>
>>> for letter in sample_generator():
...     letter
'a'
'b'
"""
current = 'a'
while current < 'c':
yield current
current = chr(ord(current)+1)

四、总结

       通常，list能完成我们对序列化数据的所有需求。可是当我们处理大数据序列或者无限序列时，list这种将数据直接写入内存中处理方式就不再适用了。这种情况下，迭代器是一个很好的解决方案——它用一种lazy computation处理方式在需要时生成数据，消耗的内存空间微乎其微。