Python3 讀寫文件

讀文件

打開一個文件用open()方法(open()返回一個文件對象)：

>>> f = open(filename, mode,buffering) #buffering寄存，具體自行搜索

• mode：決定了打開文件的模式：只讀，寫入，追加等。所有可取值見如下的完全列表。這個參數是非強制的，默認文件訪問模式為只讀(r)。

不同模式打開文件的完全列表：

模式	描述
r	以只讀方式打開文件。文件的指針將會放在文件的開頭。這是默認模式。
rb	以二進制格式打開一個文件用於只讀。文件指針將會放在文件的開頭。
r+	打開一個文件用於讀寫。文件指針將會放在文件的開頭。
rb+	以二進制格式打開一個文件用於讀寫。文件指針將會放在文件的開頭。
w	打開一個文件只用於寫入。如果該文件已存在則打開文件，並從開頭開始編輯，即原有內容會被刪除。如果該文件不存在，創建新文件。
wb	以二進制格式打開一個文件只用於寫入。如果該文件已存在則打開文件，並從開頭開始編輯，即原有內容會被刪除。如果該文件不存在，創建新文件。
w+	打開一個文件用於讀寫。如果該文件已存在則打開文件，並從開頭開始編輯，即原有內容會被刪除。如果該文件不存在，創建新文件。
wb+	以二進制格式打開一個文件用於讀寫。如果該文件已存在則打開文件，並從開頭開始編輯，即原有內容會被刪除。如果該文件不存在，創建新文件。
a	打開一個文件用於追加。如果該文件已存在，文件指針將會放在文件的結尾。也就是說，新的內容將會被寫入到已有內容之后。如果該文件不存在，創建新文件進行寫入。
ab	以二進制格式打開一個文件用於追加。如果該文件已存在，文件指針將會放在文件的結尾。也就是說，新的內容將會被寫入到已有內容之后。如果該文件不存在，創建新文件進行寫入。
a+	打開一個文件用於讀寫。如果該文件已存在，文件指針將會放在文件的結尾。文件打開時會是追加模式。如果該文件不存在，創建新文件用於讀寫。
ab+	以二進制格式打開一個文件用於追加。如果該文件已存在，文件指針將會放在文件的結尾。如果該文件不存在，創建新文件用於讀寫。

模式	r	r+	w	w+	a	a+
讀	+	+		+		+
寫		+	+	+	+	+
創建			+	+	+	+
覆蓋			+	+
指針在開始	+	+	+	+
指針在結尾					+	+

 

如果文件不存在，open()函數就會拋出一個IOError的錯誤，並且給出錯誤碼和詳細的信息告訴你文件不存在：

>>> f=open('test.txt', 'r')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

文件使用完畢后必須關閉，因為文件對象會占用操作系統的資源，並且操作系統同一時間能打開的文件數量也是有限的

>>> f.close()

由於文件讀寫時都有可能產生IOError，一旦出錯，后面的f.close()就不會調用。所以，為了保證無論是否出錯都能正確地關閉文件，我們可以使用try ... finally來實現：

try:
    f = open('/path/to/file', 'r')
    print(f.read())
finally:
    if f:
        f.close()

但是每次都這么寫實在太繁瑣，所以，Python引入了with語句來自動幫我們調用close()方法：

with open(r'/path/to/file', 'r') as f:      #/會被轉義，加r
    print(f.read())

python文件對象提供了三個“讀”方法： read()、readline() 和 readlines()。每種方法可以接受一個變量以限制每次讀取的數據量。

• read() 每次讀取整個文件，它通常用於將文件內容放到一個字符串變量中。如果文件大於可用內存，為了保險起見，可以反復調用read(size)方法，每次最多讀取size個字節的內容。
• readlines() 之間的差異是后者一次讀取整個文件，象 .read() 一樣。.readlines() 自動將文件內容分析成一個行的列表，該列表可以由 Python 的 for ... in ... 結構進行處理。
• readline() 每次只讀取一行，通常比readlines() 慢得多。僅當沒有足夠內存可以一次讀取整個文件時，才應該使用 readline()。

注意：這三種方法是把每行末尾的'\n'也讀進來了，它並不會默認的把'\n'去掉，需要我們手動去掉。

with open('test1.txt', 'r') as f1:
    list1 = f1.readlines()
list1
['111\n', '222\n', '333\n', '444\n', '555\n', '666\n']    

去掉'\n'

with open('test1.txt', 'r') as f1:
    list1 = f1.readlines()
for i in range(0, len(list1)):
    list1[i] = list1[i].rstrip('\n')
list1
['111', '222', '333', '444', '555', '666']

對於read()和readline()也是把'\n'讀入了，但是print的時候可以正常顯示（因為print里的'\n'被認為是換行的意思）

with open('test1.txt', 'r') as f1:
    list1 = f1.read()
list1
'111\n222\n333\n444\n555\n666\n'
print(list1)
111
222
333
444
555
666

with open('test1.txt', 'r') as f1:
    list1 = f1.readline()
list1
'111\n'
print(list1)
111

一個python面試題的例子：

有兩個文件，每個都有很多行ip地址，求出兩個文件中相同的ip地址：

# coding:utf-8
import bisect

with open('test1.txt', 'r') as f1:
    list1 = f1.readlines()
for i in range(0, len(list1)):
    list1[i] = list1[i].strip('\n')
with open('test2.txt', 'r') as f2:
    list2 = f2.readlines()
for i in range(0, len(list2)):
    list2[i] = list2[i].strip('\n')

list2.sort()
length_2 = len(list2)
same_data = []
for i in list1:
    pos = bisect.bisect_left(list2, i)
    if pos < len(list2) and list2[pos] == i:
        same_data.append(i)
same_data = list(set(same_data))
print(same_data)

要點就是：（1）用with （2）處理行末的'\n' （3）使用二分查找提高算法效率。（4）使用set快速去重。

 

寫文件

寫文件和讀文件是一樣的，唯一區別是調用open()函數時，傳入標識符'w'或者'wb'表示寫文本文件或寫二進制文件：

>>> f = open('test.txt', 'w') # 若是'wb'就表示寫二進制文件
>>> f.write('Hello, world!')
>>> f.close()

注意：'w'這個模式是：如果沒有這個文件，就創建一個；如果有，那么就會先把原文件的內容清空再寫入新的東西。所以若不想清空原來的內容而是直接在后面追加新的內容，就用'a'這個模式。

我們可以反復調用write()來寫入文件，但是務必要調用f.close()來關閉文件。當我們寫文件時，操作系統往往不會立刻把數據寫入磁盤，而是放到內存緩存起來，空閑的時候再慢慢寫入。只有調用close()方法時，操作系統才保證把沒有寫入的數據全部寫入磁盤。忘記調用close()的后果是數據可能只寫了一部分到磁盤，剩下的丟失了。所以，還是用with語句來得保險：

with open('test.txt', 'w') as f:
    f.write('Hello, world!')

python文件對象提供了兩個“寫”方法： write() 和 writelines()。

• write()方法和read()、readline()方法對應，是將字符串寫入到文件中。
• writelines()方法和readlines()方法對應，也是針對列表的操作。它接收一個字符串列表作為參數，將他們寫入到文件中，換行符不會自動的加入，因此，需要顯式的加入換行符。

f1 = open('test1.txt', 'w')
f1.writelines(["1", "2", "3"])
#    此時test1.txt的內容為:123

f1 = open('test1.txt', 'w')
f1.writelines(["1\n", "2\n", "3\n"])
#    此時test1.txt的內容為:
#    1
#    2        
#    3

 

file_obj.seek(offset,whence=0)

file_obj.seek(offset,whence=0)方法用來在文件中移動文件指針。offset表示偏移多少。可選參數whence表示從哪里開始偏移，默認是0為文件開頭，1為當前位置，2為文件尾部。舉例：

f = open("test1.txt", "a+")
print(f.read())
f.write('1')
f.seek(0, 0)# 把文件指針從末尾移到開頭，沒有這句話下面的read()就讀不到正確的東西
print(f.read())
f.close()

注意：這個文件指針的改變只是作用於'r',對'w'和'a'不會起作用，如果是'w'，那么write()永遠都是從開頭寫（會覆蓋后面對應位置的內容），是'a'的話write()就永遠都是從最后開始追加。

字符編碼

要讀取非UTF-8編碼的文本文件，需要給open()函數傳入encoding參數，例如，讀取GBK編碼的文件：

>>> f = open('test.txt', 'r', encoding='gbk')
>>> f.read()
'測試'

遇到有些編碼不規范的文件，你可能會遇到UnicodeDecodeError，因為在文本文件中可能夾雜了一些非法編碼的字符。遇到這種情況，open()函數還接收一個errors參數，表示如果遇到編碼錯誤后如何處理。最簡單的方式是直接忽略：

>>> f = open('test.txt', 'r', encoding='gbk', errors='ignore')

 

f.tell()

f.tell() 返回文件對象當前所處的位置, 它是從文件開頭開始算起的字節數。

 

pickle 模塊

python的pickle模塊實現了基本的數據序列和反序列化。

通過pickle模塊的序列化操作我們能夠將程序中運行的對象信息保存到文件中去，永久存儲。

通過pickle模塊的反序列化操作，我們能夠從文件中創建上一次程序保存的對象。

基本接口：

pickle.dump(obj, file, [,protocol])
這個模塊想要詳細的自行搜索

JSON模塊 數據序列化

OS 模塊提供了非常豐富的方法用來處理文件和目錄