目錄
將 numpy 數組存入文件，有多種文件類型可供選擇，對應地就有不同的方法來讀寫。
下面我將介紹讀寫 numpy 的三類文件：
- txt 或者 csv 文件
- npy 或者 npz 文件
- hdf5 文件
通過 numpy 讀寫 txt 或 csv 文件
import numpy as np
a = np.array(range(20)).reshape((4, 5))
print(a)
# 后綴改為 .txt 一樣
filename = 'data/a.csv'
# 寫文件
np.savetxt(filename, a, fmt='%d', delimiter=',')
# 讀文件
b = np.loadtxt(filename, dtype=np.int32, delimiter=',')
print(b)
缺點：
- 只能保存一維和二維 numpy 數組，當 numpy 數組
a有多維時，需要將其a.reshape((a.shape[0], -1))后才能用這種方式保存。 - 不能追加保存，即每次
np.savetxt()都會覆蓋之前的內容。
通過 numpy 讀寫 npy 或 npz 文件
讀寫 npy 文件
import numpy as np
a = np.array(range(20)).reshape((2, 2, 5))
print(a)
filename = 'data/a.npy'
# 寫文件
np.save(filename, a)
# 讀文件
b = np.load(filename)
print(b)
print(b.shape)
優點：
- npy 文件可以保存任意維度的 numpy 數組，不限於一維和二維；
- npy 保存了 numpy 數組的結構，保存的時候是什么 shape 和 dtype，取出來時就是什么樣的 shape 和 dtype。
缺點：
- 只能保存一個 numpy 數組，每次保存會覆蓋掉之前文件中存在的內容（如果有的話）。
讀寫 npz 文件
import numpy as np
a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20, 44)).reshape(2, 3 ,4)
print('a:\n', a)
print('b:\n', b)
filename = 'data/a.npz'
# 寫文件， 如果不指定key，那么默認key為'arr_0'、'arr_1'，一直排下去。
np.savez(filename, a, b=b)
# 讀文件
c = np.load(filename)
print('keys of NpzFile c:\n', c.keys())
print("c['arr_0']:\n", c['arr_0'])
print("c['b']:\n", c['b'])
優點：
- npy 文件可以保存任意維度的 numpy 數組，不限於一維和二維；
- npy 保存了 numpy 數組的結構，保存的時候是什么 shape 和 dtype，取出來時就是什么樣的 shape 和 dtype；
- 可以同時保存多個 numpy 數組；
- 可以指定保存 numpy 數組的 key，讀取的時候很方便，不會混亂。
缺點：
- 保存多個 numpy 數組時，只能同時保存，即
np.savez(filename, a, b=b)。每次保存會覆蓋掉之前文件中存在的內容（如果有的話）。
通過 h5py 讀寫 hdf5 文件
優點：
- 不限 numpy 數組維度，可以保持 numpy 數組結構和數據類型；
- 適合 numpy 數組很大的情況，文件占用空間小；
- 可以通過 key 來訪問 dataset（可以理解為 numpy.array），讀取的時候很方便，不會混亂。
- 可以不覆蓋原文件中含有的內容。
簡單讀取
import numpy as np
import h5py
a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20)).reshape((1, 4, 5))
print(a)
print(b)
filename = 'data/data.h5'
# 寫文件
h5f = h5py.File(filename, 'w')
h5f.create_dataset('a', data=a)
h5f.create_dataset('b', data=b)
h5f.close()
# 讀文件
h5f = h5py.File(filename, 'r')
print(type(h5f))
# 通過切片得到numpy數組
print(h5f['a'][:])
print(h5f['b'][:])
h5f.close()
通過切片賦值
import numpy as np
import h5py
a = np.array(range(20)).reshape((2, 2, 5))
print(a)
filename = 'data/a.h5'
# 寫文件
h5f = h5py.File(filename, 'w')
# 當數組a太大，需要切片進行操作時，可以不直接對h5f['a']進行初始化；
# 當之后不需要改變h5f['a']的shape時，可以省略maxshape參數
h5f.create_dataset('a', shape=(2, 2, 5), maxshape=(None, 2, 5), dtype=np.int32, compression='gzip')
for i in range(2):
# 采用切片的形式賦值
h5f['a'][i] = a[i]
h5f.close()
# 讀文件
h5f = h5py.File(filename, 'r')
print(type(h5f))
print(h5f['a'])
# 通過切片得到numpy數組
print(h5f['a'][:])
同一個 hdf5 文件可以創建多個 dataset，讀取的時候按照 key 來即可。
總結
- csv 和 txt 只能用來存一維或二維 numpy 數組；
- npy 用來存單個 numpy 數組，npz 可以同時存多個 numpy 數組，兩者都不限 numpy 維度，且都保持 numpy 數組的 shape 和 dtype，寫文件時若原文件存在只能覆蓋原文件內容；
- 當 numpy 數組很大時，最好使用 hdf5 文件，hdf5 文件相對更小；
- 當 numpy 數組很大時，對整個 numpy 數組進行運算容易發生 MemoryError，那么此時可以選擇對 numpy 數組切片，將運算后的數組保存到 hdf5 文件中，hdf5 文件支持切片索引。
References
當Python遇上HDF5--性能優化實戰 -- 張玉騰
雜： PYTHON上數據儲存：推薦h5py -- Pony_s