可迭代对象和迭代器

python 从可迭代对象获得迭代器
迭代器实现了 __next__ __iter__ 两个方法
没有实现 __iter__ 无法用 for 迭代
迭代器是这样一个对象，实现了无参数的 next 方法，返回序列中的下一个元素；如果没有元素了，那么抛出 StopIteration 异常。

  1. import re
  2. import reprlib
  4. RE_WORD = re.compile('\w+')
  6. class Sentence:
  7.     # 可迭代对象
  8.     def __init__(self, text):
  9.         self.text = text
  10.         self.words = RE_WORD.findall(text)
  12.     def __repr__(self):
  13.         return 'Sentence(%s)' % reprlib.repr(self.text)
  15.     def __iter__(self):  
  16.         # 实现了该方法就是可迭代对象
  17.         # 可迭代对象，返回迭代器，每次实例化后返回新的迭代器
  18.         # 调用 iter(x) 判断x 是否是可迭代对象
  19.         return SentenceIterator(self.words)  
  22. class SentenceIterator:
  23.     # 迭代器
  24.     def __init__(self, words):
  25.         self.words = words  
  26.         self.index = 0  
  28.     def __next__(self):
  29.         # 返回单个元素
  30.         # 迭代器必须实现的方法
  31.         try:
  32.             word = self.words[self.index]  
  33.         except IndexError:
  34.             raise StopIteration()  
  35.         self.index += 1  
  36.         return word  
  38.     def __iter__(self):  
  39.         # 迭代器必须实现的方法
  40.         # 返回自身
  41.         return self

迭代器与可迭代对象总结

  • 可迭代对象返回迭代器（iter)
  • 可迭代对象无法通过next 方法，获取下个数据
  • 迭代器无法获取集合中的某个值，只能依次访问
  • 不能回退，支持对聚合对象的多种遍历
  • 要知道，可迭代的对象有个 iter 方法，每次都实例化一个新的迭代器；而迭代器要实现 next 方法，返回单个元素，此外还要实现 iter 方法，返回迭代器本身。

    iter 鲜为人知的用法

    iter(func, i) i 为一种标识，当到i，抛出异常 ```python with open(path, ‘r’) as f: for line in iter(f.readline, ‘\n’):
    1.   process_line(line)

迭代读取文件，直到遇到空行或者文件末尾停止

  2. <a name="yfEs7"></a>
  3. ### 生成器
  4. 只要定义了yield 的函数就是一个生成器函数<br />惰性获取数据
  5. <a name="DJZJg"></a>
  6. #### 2.1生成器应用，读取大数据文件
  7. ```python
  8. # 正常csv文件可能是单个分隔符（,），现在分隔符是两个字符(||)，Python无法处理这种两个字符的分隔符
  9. # 需要自定义读取一行数据，split(分隔符), 返回格式化数据
  11. def read_file_head(file, delimiter=None):
  12.     # 读取文件头 head
  13.     # 自定义分割符，（，；||等）
  14.     with open(file) as f:
  15.         one_line = f.readline()
  16.     return one_line.strip().split(delimiter)
  18. def delimited(file, delimiter='\n', bufsize=4096):
  19.     # 一次读取文件4096字节数据，如果出现一行结尾，则yield 这行数据
  20.     buf = ''
  21.     while True:
  22.         newbuf = file.read(bufsize)
  23.         if not newbuf:
  24.             yield buf
  25.             return
  26.         buf += newbuf
  27.         lines = buf.split(delimiter)
  28.         for line in lines[:-1]:
  29.             yield line
  30.         buf = lines[-1]
  33. def read_file_by_line(file, lf, length, flag):
  34.     """
  35.     file 文件名
  36.     lf 文件一行末尾数据格式（换行符）
  37.     length 默认一行数据长度
  38.     flag 一行字段与字段之间分隔符
  39.     """
  40.     head = read_file_head(file, flag)
  41.     with open(file, encoding='utf-8') as f:
  42.         next(f)  # 迭代第一行，这是文件头
  43.         lines = delimited(f, lf, 4096)
  44.         for line in lines:
  45.             res = dict(zip(head, line.split(flag)))
  46.             if len(res) == length:
  47.                 yield res

2.2用作协程