Python3 _ 读取大文件

 ===================== 1============================================

帖子链接：http://blog.csdn.net/hackstoic/article/details/49804655

方法一：

将文件切分成小段，每次处理完小段内容后，释放内存

这里会使用yield生成自定义可迭代对象， 即generator， 每一个带有yield的函数就是一个generator。

def read_in_block(file_path):
    BLOCK_SIZE = 1024
    with open(file_path, "r") as f:
        while True:
            block = f.read(BLOCK_SIZE)  # 每次读取固定长度到内存缓冲区
            if block:
                yield block
            else:
                return  # 如果读取到文件末尾，则退出


def test3():
    file_path = "/tmp/test.log"
    for block in read_in_block(file_path):
        print block

方法二：

利用open（“”， “”）系统自带方法生成的迭代对象

def test4():
    with open("/tmp/test.log") as f:
        for line in f:
            print line

======================2=============================================

原帖子： https://www.cnblogs.com/aicro/p/3371986.html 

   其链接：https://stackoverflow.com/questions/8009882/how-to-read-large-file-line-by-line-in-python

该文章实际上提供了集中读取大文件的方式，先经过测试总结如下

1. for line in fileHandle:

该方式是最快速的。而且python虚拟机在内部帮助我们对buffer进行管理，内存占用量小，且不差错。

2. fileinput方式

该方式实际效果较慢，但是也有buffer管理功能

3. 使用file.read（sizeHint)的方式进行区块读取

该方法是三者中最慢的，而且需要自己去控制内存和选择需要的区域，所以在读到的buffer之后，还需要进行拆分工作，比较麻烦，而且容易出错。最无奈的是，使用下来（我的环境是2.6和2.7），sizeHint作用较小，原来觉得如果sizeHint是1024，则每次在内存中只会驻留1024B的内容，但是实际上不是这样的，在度过一次1024B之后，再次读取1024B的时候，尽管已经对之前的buf进行了del操作，但是该1024B仍然存留于内存中，所以内存越吃越大，最终MemoryError。

4. file.readline和file.readlines

和read类似，只适用于小文件。

结论：

在使用python进行大文件读取时，应该返璞归真，使用最简单的方式，交给解释器，就管好自己的工作就行了

1. 大文件（>1.4G)

所使用的方式	size_hint	所使用时间
for i in open(...)	/	103.382492s
fileinput	/	131.525755s
file.read和buffer控制	2亿B	报错：memoryError

2. 小文件（西游记的txt，大约1.4M)

所使用的方式	size_hint	所使用时间
for i in open(...)	/	2.11s
fileinput	/	4.22s
file.read和buffer控制	2亿B	4.07s