Python進階-XII serialize(序列化)、序列化模塊

一、serialize 序列化

1、什么叫序列化——將原本的字典、列表等內容轉換成一個字符串的過程就叫做序列化。

    比如，我們在python代碼中計算的一個數據需要給另外一段程序使用，那我們怎么給？
現在我們能想到的方法就是存在文件里，然后另一個python程序再從文件里讀出來。
    但是我們都知道，對於文件來說是沒有字典這個概念的，所以我們只能將數據轉換成字典放到文件中。
你一定會問，將字典轉換成一個字符串很簡單，就是str(dic)就可以辦到了，為什么我們還要學習序列化模塊呢？
沒錯序列化的過程就是從dic 變成str(dic)的過程。現在你可以通過str(dic)，將一個名為dic的字典轉換成一個字符串，
    但是你要怎么把一個字符串轉換成字典呢？
聰明的你肯定想到了eval()，如果我們將一個字符串類型的字典str_dic傳給eval，就會得到一個返回的字典類型了。
eval()函數十分強大，但是eval是做什么的？e官方demo解釋為：將字符串str當成有效的表達式來求值並返回計算結果。
    ＢＵＴ！強大的函數有代價。安全性是其最大的缺點。
    想象一下，如果我們從文件中讀出的不是一個數據結構，而是一句"刪除文件"類似的破壞性語句，那么后果實在不堪設設想。
而使用eval就要擔這個風險。
    所以，我們並不推薦用eval方法來進行反序列化操作(將str轉換成python中的數據結構)


2、序列化的目的
   1）、以某種存儲形式使自定義對象持久化；
   2）、將對象從一個地方傳遞到另一個地方。
   3）、使程序更具維護性。

二、常用的序列化模塊

 1、json模塊
 json模塊提供了四個功能：dumps、dump、loads、load
 　　1) 內存中的序列化和反序列化(dumps loads)

mport json
dic = {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}
#str_dic = str(dic) #不安全
str_dic = json.dumps(dic)  # 序列化：將一個字典轉換成一個字符串
print(type(str_dic), str_dic)  # <class 'str'> {"k3": "v3", "k2": "v2", "k1": "v1"}
# 注意，json轉換完的字符串類型的字典中的字符串是由""表示的

dic1 = json.loads(str_dic)  # 反序列化：將一個字符串格式的字典轉換成一個字典
print(type(dic1), dic1)  # <class 'dict'> {'k2': 'v2', 'k3': 'v3', 'k1': 'v1'}

dic_in_list = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]
str_dic_in_list = json.dumps(dic_in_list)
print(type(str_dic_in_list), str_dic_in_list)  # <class 'str'> [1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]
dic_in_list1 = json.loads(str_dic_in_list)
print(type(dic_in_list1), dic_in_list1)  # <class 'list'> [1, ['a', 'b', 'c'], 3, {'k2': 'v2', 'k1': 'v1'}]

　　2) 文件中的的序列化和反序列化(dump load

# f = open('json_file','w')
# dic = {'k1':'v1','k2':'v2','k3':'v3'}
# json.dump(dic, f)  #dump方法接收一個文件句柄，直接將字典轉換成json字符串寫入文件
# f.close()

f = open('json_file')
dic2 = json.load(f)  #load方法接收一個文件句柄，直接將文件中的json字符串轉換成數據結構返回
f.close()
print(type(dic2), dic2)  # <class 'dict'> {'k2': 'v2', 'k3': 'v3', 'k1': 'v1'}

 3)  ensure_ascii關鍵字參數

f = open('file', 'w', encoding='utf-8')
json.dump({'國籍': '中國'}, f)
ret = json.dumps({'國籍': '中國'})
f.write(ret+'\n')
json.dump({'國籍': '美國'}, f, ensure_ascii=False)
ret = json.dumps({'國籍': '美國'}, ensure_ascii=False)
f.write(ret+'\n')
f.close()

4) 其他參數說明

Serialize obj to a JSON formatted str.(字符串表示的json對象) 

Skipkeys：默認值是False，如果dict的keys內的數據不是python的基本類型(str,unicode,int,long,float,bool,None)，設置為False時，
就會報TypeError的錯誤。此時設置成True，則會跳過這類key 

ensure_ascii:，當它為True的時候，所有非ASCII碼字符顯示為\\uXXXX序列，只需在dump時將ensure_ascii設置為False即可，此時存入json的中文即可正常顯示。) 
If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an 
OverflowError (or worse). 
If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON 
specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity). 

indent：應該是一個非負的整型，如果是0就是頂格分行顯示，如果為空就是一行最緊湊顯示，否則會換行且按照indent的數值顯示前面的空白分行顯示，
這樣打印出來的json數據也叫pretty-printed json 

separators：分隔符，實際上是(item_separator, dict_separator)的一個元組，默認的就是(‘,’,’:’)；這表示dictionary內keys之間用“,”隔開，
而KEY和value之間用“：”隔開。 
default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError. 

sort_keys：將數據根據keys的值進行排序。 
To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg;
 otherwise JSONEncoder is used.

5)json的格式化輸出

data = {'username': ['李華', '二愣子'], 'sex': 'male', 'age': 16}
json_dic2 = json.dumps(data, sort_keys=True, indent=2, separators=(',', ':'), ensure_ascii=False)
print(json_dic2)

2、json & pickle 模塊
 用於序列化的兩個模塊

json，用於字符串和python數據類型間進行轉換
pickle，用於python特有的類型和python的數據類型間進行轉換

pickle模塊提供了四個功能：dumps、dump(序列化，存）、loads（反序列化，讀）、load  （不僅可以序列化字典，列表...可以把python中任意的數據類型序列化）

1）pickle

import pickle
dic = {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}
str_dic = pickle.dumps(dic)
print(str_dic)  # 一串二進制內容

dic2 = pickle.loads(str_dic)
print(dic2)    # 字典

import time
struct_time = time.localtime(1000000000)
print(struct_time)
f = open('pickle_file', 'wb')
pickle.dump(struct_time, f)
f.close()

f = open('pickle_file', 'rb')
struct_time2 = pickle.load(f)
print(struct_time2.tm_year)

這時候機智的你又要說了，既然pickle如此強大，為什么還要學json呢？
這里我們要說明一下，json是一種所有的語言都可以識別的數據結構。
如果我們將一個字典或者序列化成了一個json存在文件里，那么java代碼或者js代碼也可以拿來用。
但是如果我們用pickle進行序列化，其他語言就不能讀懂這是什么了～
所以，如果你序列化的內容是列表或者字典，我們非常推薦你使用json模塊
但如果出於某種原因你不得不序列化其他的數據類型，而未來你還會用python對這個數據進行反序列化的話，那么就可以使用pickle