Python 序列化pickle/cPickle模塊整理


Python序列化的概念很簡單。內存里面有一個數據結構,你希望將它保存下來,重用,或者發送給其他人。你會怎么做?這取決於你想要怎么保存,怎么重用,發送給誰。很多游戲允許你在退出的時候保存進度,然后你再次啟動的時候回到上次退出的地方。(實際上,很多非游戲程序也會這么干)在這種情況下,一個捕獲了當前進度的數據結構需要在你退出的時候保存到硬盤上,接着在你重新啟動的時候從硬盤上加載進來。

Python標准庫提供pickle和cPickle模塊。cPickle是用C編碼的,在運行效率上比pickle要高,但是cPickle模塊中定義的類型不能被繼承(其實大多數時候,我們不需要從這些類型中繼承,推薦使用cPickle)。cPickle和pickle的序列化/反序列化規則是一樣的,使用pickle序列化一個對象,可以使用cPickle來反序列化。同時,這兩個模塊在處理自引用類型時會變得更加“聰明”,它不會無限制的遞歸序列化自引用對象,對於同一對象的多次引用,它只會序列化一次。

pickle模塊中的兩個主要函數是dump()load()。dump()函數接受一個數據對象和一個文件句柄作為參數,把數據對象以特定的格式保存到給定的文件中。當我們使用load()函數從文件中取出已保存的對象時,pickle知道如何恢復這些對象到它們本來的格式。

dumps()函數執行和dump()函數相同的序列化。取代接受流對象並將序列化后的數據保存到磁盤文件,這個函數簡單的返回序列化的數據。
loads()函數執行和load()函數一樣的反序列化。取代接受一個流對象並去文件讀取序列化后的數據,它接受包含序列化后的數據的str對象, 直接返回的對象。

pickle.dump(obj, file[, protocol])

這是將對象持久化的方法,參數的含義分別為:
obj: 要持久化保存的對象;
file: 一個擁有 write() 方法的對象,並且這個 write() 方法能接收一個字符串作為參數。這個對象可以是一個以寫模式打開的文件對象或者一個 StringIO 對象,或者其他自定義的滿足條件的對象。
protocol: 這是一個可選的參數,默認為 0 ,如果設置為 1 或 True,則以高壓縮的二進制格式保存持久化后的對象,否則以ASCII格式保存。

對象被持久化后怎么還原呢?pickle 模塊也提供了相應的方法,如下:

pickle.load(file)

 只有一個參數 file ,對應於上面 dump 方法中的 file 參數。這個 file 必須是一個擁有一個能接收一個整數為參數的 read() 方法以及一個不接收任何參數的 readline() 方法,並且這兩個方法的返回值都應該是字符串。這可以是一個打開為讀的文件對象、StringIO 對象或其他任何滿足條件的對象。

下面是一個基本的用例:

# -*- coding: utf-8 -*-
 
import pickle
# 也可以這樣:
# import cPickle as pickle
 
obj = {"a": 1, "b": 2, "c": 3}
 
# 將 obj 持久化保存到文件 tmp.txt 中
pickle.dump(obj, open("tmp.txt", "w"))
 
# do something else ...
 
# 從 tmp.txt 中讀取並恢復 obj 對象
obj2 = pickle.load(open("tmp.txt", "r"))
 
print obj2

不過實際應用中,我們可能還會有一些改進,比如用 cPickle 來代替 pickle ,前者是后者的一個 C 語言實現版本,擁有更快的速度,另外,有時在 dump 時也會將第三個參數設為 True 以提高壓縮比。再來看下面的例子:

# -*- coding: utf-8 -*-
 
import cPickle as pickle
import random
import os
 
import time
 
LENGTH = 1024 * 10240
 
def main():
	d = {}
	a = []
	for i in range(LENGTH):
		a.append(random.randint(0, 255))
 
	d["a"] = a
 
	print "dumping..."
 
	t1 = time.time()
	pickle.dump(d, open("tmp1.dat", "wb"), True)
	print "dump1: %.3fs" % (time.time() - t1)
 
	t1 = time.time()
	pickle.dump(d, open("tmp2.dat", "w"))
	print "dump2: %.3fs" % (time.time() - t1)
 
	s1 = os.stat("tmp1.dat").st_size
	s2 = os.stat("tmp2.dat").st_size
 
	print "%d, %d, %.2f%%" % (s1, s2, 100.0 * s1 / s2)
 
	print "loading..."
 
	t1 = time.time()
	obj1 = pickle.load(open("tmp1.dat", "rb"))
	print "load1: %.3fs" % (time.time() - t1)
 
	t1 = time.time()
	obj2 = pickle.load(open("tmp2.dat", "r"))
	print "load2: %.3fs" % (time.time() - t1)
 
 
if __name__ == "__main__":
	main()

可以看到,dump 時如果指定了 protocol 為 True,壓縮過后的文件的大小只有原來的文件的 30% ,同時無論在 dump 時還是 load 時所耗費的時間都比原來少。因此,一般來說,可以建議把這個值設為 True 。

另外,pickle 模塊還提供 dumps 和 loads 兩個方法,用法與上面的 dump 和 load 方法類似,只是不需要輸入 file 參數,輸入及輸出都是字符串對象,有些場景中使用這兩個方法可能更為方便。

參考#


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM