h5文件是層次格式的第5代版本,用於存儲科學數據的一種文件格式和庫文件,由美國超級計算中心與應用中心研發的文件格式,用以存儲和組織大規模數據.
H5將文件結構簡化成兩個主要的對象類型:
1 數據集dataset,就是同一類型數據的多維數組
2 組group,是一種容器結構,可以包含數據集和其他組,若一個文件中存放了不同種類的數據集,這些數據集的管理就用到了group
直觀的理解,可以參考我們的文件系統,不同的文件存放在不同的目錄下:
目錄就是hdf5文件中的group,描述了數據集DataSet的分類信息,通過group有效的將多種dataset進行管理和划分
文件就是hdf5文件中的dataset,表示具體的數據
下圖就是數據集和組的關系:
h5文件是一種真正的層次結構,文件系統式的數據類型.另外在數據集中還有元數據,即metadata
對於每一個dataset而言,除了數據本身之外,這個數據集還有很多的屬性信息.在hdf5中,同時支持存儲數據集對應的屬性信息,所有的屬性信息的集合叫做metaData,下圖是h5文件的數據集的構成
在pandas中讀寫hdf文件時,指定的key值指的是hdf文件中的group,
1 read_hdf(path_or_buf, key=None, mode='r', **kwargs)
當要讀取得h5文件中,只包含一個group時,可將key參數省略
2 to_hdf(path_or_buf, key, **kwargs)
當寫入h5文件時,必須指定寫入的組,即key值不能省略