python讀取大文件

最近在學習python的過程中接觸到了python對文件的讀取。python讀取文件一般情況是利用open()函數以及read()函數來完成：

f = open(filename,'r')
f.read()

這種方法讀取小文件，即讀取遠遠大小小於內存的文件顯然沒有什么問題。但是如果是將一個10G大小的日志文件讀取，即文件大於內存的大小，這么處理就有問題了，會造成MemoryError ... 也就是發生內存溢出。

發生這種錯誤的原因在於，read()方法執行操作是一次性的都讀入內存中，顯然文件大於內存就會報錯。

解決方法：

這里發現跟read()類似的還有其他的方法：read(參數)、readline()、readlines()

(1)read(參數)：通過參數指定每次讀取的大小長度,這樣就避免了因為文件太大讀取出問題。

while True:
    block = f.read(1024)
    if not block:
        break

 (2)readline()：每次讀取一行

while True:
    line = f.readline()
    if not line:
        break

 

(3)readlines()：讀取全部的行，構成一個list，通過list來對文件進行處理，但是這種方式依然會造成MemoyError

for line in f.readlines():
    ....

 

以上基本分析了python中讀取文件的方法，但是總感覺不能達到python中所強調的優雅，后來發現了還有下面的解決方法：

pythonic（我理解的是很python的python代碼）的解決辦法：

with open(filename, 'r') as flie:
    for line in file:
        ....

 

對可迭代對象file進行迭代，這樣會自動的使用buffered IO以及內存管理，這樣就不必擔心大文件問題了。

后來，又發現了一個模塊：linecache，這個模塊也可以解決大文件讀取的問題，並且可以指定讀取哪一行，

# 輸出第2行
text = linecache.getline(filename, 2)