HDF及HDF-EOS數據格式簡介

HDF-EOS數據格式介紹
HDF（Hierarchy Data Format ）數據格式是美國伊利諾伊大學國家超級計算應用中心（NCSA ，National Central for Super computing Applications）於1987 年研制開發的一種軟件和函數庫，用於存儲和分發科學數據的一種自我描述、多對象的層次數據格式，主要用來存儲由不同計算機平台產生的各種類型科學數據， 適用於多種計算機平台，易於擴展。HDF 不斷發展, 已被廣泛應用於環境科學、地球科學、航空、海洋、生物等許多領域，來存儲和處理各種復雜的科學數據。
1993 年美國國家航空航天局（NASA）把HDF格式作為存儲和發布EOS （Earth Observation System）數據的標准格式。在HDF 標准基礎上，開發了另一種HDF 格式即HDF-EOS ，專門用於處理EOS產品，使用標准HDF 數據類型定義了點、條帶、柵格3 種特殊數據類型，並引入了元數據(Metadata) 。HDF-EOS 是HDF 的擴展，它主要擴充了兩項功能：一是提供了一種系統寬搜索服務方式，它能在沒有讀文件本身的情況下搜索文件內容；二是提供了有效的存儲地理定位數據，將科學數據與地理點捆綁在一起。
HDF的特點
自我描述:在HDF文件中包含關於該數據各方面屬性的信息。
多樣性:在HDF文件中可同時存儲多種類型的數據，如柵格圖像數據、科學數據集、信息說明數據等。
靈活性:可讓用戶把相關數據目標集中在一個HDF文件的某個分層結構中，並對其加以描述，同時可以給數據目標記上標記，方便查取。用戶也可以把科學數據存儲到多個HDF文件中。
可擴展性:在HDF中可以加入新數據模式，增強了它與其它標准格式的兼容性。
獨立性:HDF是一種與平台無關的格式。HDF文件在不同平台間傳遞而不用轉換格式。
HDF的組織結構
HDF 文件由路徑和數據對象構成, 每個數據對象包括指向該數據對象位置指針的指針域和定義該數據類型的信息域構成。HDF 庫包括3個接口層, 從上到下分別是HDF底層、HDF 應用層、HDF 頂層。
HDF 底層為軟件開發者所應用，它包括文件輸入/輸出、差錯控制、內存管理、物理存儲等應用程序接口；
HDF 的應用層接口包括6個獨立的模塊分別用來簡化6種數據類型(8位圖像、24位圖像、色彩、科學數據、注釋、V data) 的存儲和訪問過程；
HDF 頂層包括HDF 應用、NCSA 和第三方開發者制作應用程序。
HDF的主要數據類型
（1）圖像模塊（Raster Image，8位和24位圖像）
在HDF 使用8位圖像和24位圖像兩個模塊來實現圖像數據存儲。
8位圖像模塊中包括一個表示顏色圖像的二維數組, 數組中的每個值不是代表某個顏色的值, 而是一個單獨的調色板的索引, 調色板中每個條目代表一個含有紅、綠、藍三值的顏色, 數組中每個數據的值是8位, 所以稱8位圖像。
24位圖像與8位圖像的存儲相似, 只是它包括3個表示顏色圖像的二維數組, 每個數組具有相同的大小並分別代表某圖像中的每個色素的紅、綠、藍值。
（2）調色板（Palette）
提供圖像的色譜。調色板是給一幅圖像加入顏色的方法，它相當於一個表格，這個表格可能由不同的大小，但HDF文件只支持256色的顯示。對於柵格圖像中的每一個數據，在表格中都有其對應的RGB數值，用來顯示顏色。
（3）科學數據集（Scientific Data Set）
用來存儲和描述多維科學數據陳列。科學數據集提供了一個用來存儲多維數組數據以及其相關信息的框架。數組的數據類型可以是整數或者是浮點數。它的組織方式與柵格圖像相同。科學數據集必須包含的組件有數組、名稱、數據類型和數組的維數。
（4）Vdata（verdex data）
是用來存儲和描述數據表格的結構。每個表格由一系列的記錄組成, 而每個記錄又由一系列的域組成。
（5）HDF注解（Annotations）
注解是元數據，用於描述一個HDF文件或它包含的任何數據要素。注解是用於解釋文件或數據對象的文本字符串。注解可以短到一個名字，或長到一段程序代碼。注解主要分為兩種大類：標簽和描述。標簽是一種短形式的注解，主要用於把諸如指定標題或時間印記到文件或其它數據對象中。長的注解被稱為描述，通常包含更為廣泛的信息，如源代碼模塊或數學公式。有四種注解形式：文件標簽，文件描述，對象標簽和對象描述，
（6）Vgroup
結構模型被設計為與相關數據對象有關。一個Vgroup可以包含另一個Vgroup以及數據對象。任何HDF對象都可以包含在一個Vgroup中。 Vgroup的一般結構與UNIX文件系統的結構類似，Vgroup可以包含另外的Vgroup或HDF數據對象的引用，如UNIX的目錄可以包含子目錄或文件一樣。
HDF-EOS數據格式
HDF-EOS 已成為EOSDIS (EOS Data and Information System , EOS 數據和信息系統) 數據生產和存檔的標准格式，專門用於存儲EOS 數據。除了HDF 的6種數據類型外，HDF-EOS 還支持另外3種數據類型：點、條帶、網格。
HDF-EOS 文件的內容可以通過地理坐標和時間查詢, 每HDF-EOS文件都包括元數據，它對於科學研究和用戶訪問EOS數據提供了便利條件。所有能夠讀取標准的HDF文件的工具都可以讀取HDF-EOS 文件。
點數據
點數據由在時間上間斷的或空間上分散的一系列不規則數據記錄構成, 在某種意義上它構成了空間或時間上一系列間斷點的狀態或屬性值。點數據模塊適用於處理氣象站數據、浮標數據、船載測量的海洋數據等。
條帶數據
HDF-EOS 中的條帶數據指衛星所攜帶的傳感器沿一定的路徑對地表掃描, 獲得的廓線范圍內的各種有用信息。條帶數據的獲取有兩種方式: ①傳感器沿軌跡方向獲取數據(A long Track) ;②傳感器沿垂直軌跡方向獲取數據(Cross Track)。
網格數據
網格數據是最常用的一種處理空間數據的數據格式, 被廣泛應用於GIS 和RS 領域。HDF2EOS 的網格數據接口與地圖投影緊密的結合, 提供了相關的投影參數和方程, 使用戶很容易就可以獲得網格中任意點的經緯度, 這更加適應地理空間數據的處理。HDF2EOS 的網格數據集有3個主要特征: 數據域、空間尺度、投影。 其中數據域是網格最重要部分,它由二維或多維數組構成,數據域中每個數據項具有相同數據類型,並且它與一定的地理坐標系相對應。投影是網格的核心,它能夠利用數學方程方便地將經緯坐標轉換成X - Y坐標。
元數據
在EOS 中定義了3種元數據: ①核心元數據(Core metadata) , 它能夠滿足所有標准數據產品的需要; ②具體產品的元數據(product specific metadata) , 它只能滿足特定數據產品的需要;③結構化元數據( structural metadata) , 用於描述HDF - EOS 文件中數據域的具體細節, 它是HDF-EOS 所特有的元數據。它包括空間尺度信息、數據域的信息和地理位置信息。
HDF-EOS 數據使用
隨着EOS數據的廣泛應用, 許多HDF-EOS 數據格式已逐步被廣大遙感、地理信息系統的用戶和軟件開發商所接受, 隨之涌現出大量的HDF-EOS數據瀏覽和發布軟件。比如：EOS View , view-hdf , WebWinds , HDF Explorer ,HDFLook ,JHV ,DIAL ,HDF Inspector等。
目前，許多遙感圖像處理和GIS 軟件都實現而來對HDF-EOS 支持。RS (Research System ) 是著名的遙感圖像處理軟件開發公司, 該公司的IDL、ENV I、Noesy系列產品軟件都支持HDF。
NASA 針對GIS 用戶對EOS 數據的需求開發了EOSGIS 數據格式轉換器, 它用來實現HDF-EOS 數據格式和Arcgis 以及Eedas image所支持的GeoT IFF 數據格式之間的轉換。HEG（The HDF-EOS To GeoTIFF Conversion Tool） 部分數據讀取、處理及格式轉換工具可以從本網站的“軟件工具”欄目總查詢。
參考文獻
HDF 文件由路徑和數據對象構成, 每個數據對象包括指向該數據對象位置指針的指針域和定義該數據類型的信息域構成。HDF 庫包括3個接口層, 從上到下分別是HDF底層、HDF 應用層、HDF 頂層。
HDF參考手冊（HDF Reference Manual，pdf）；
HDF用戶手冊（HDF user’s Guide，pdf）；
HDF-EOS用戶手冊第一卷，1999（HDF -EOS Library Users Guide for the ESC Project，Volume 1: Overview and Examples，1999，pdf）；
HDF-EOS用戶手冊第二卷，2009（HDF -EOS Library Users Guide for the ESC Project, Volume 2: Function Reference Guide，2009，pdf）；
HDF-EOS用戶手冊第一卷，2009（HDF -EOS Library Users Guide for the EMD to EED Bridge Contract,Volume 1: Overview and Examples，2009，pdf）；
HDF-EOS用戶手冊第二卷，2009（HDF -EOS Library Users Guide for the EMD to EED Bridge Contract,Volume 2: Function Reference Guide，2009，pdf）；
HDF-EOS接口用戶手冊第一卷（HDF-EOS interface Based on HDF5, Volume 1:Overview and Examples，2009，pdf）;
HDF-EOS接口用戶手冊第二卷（HDF-EOS interface Based on HDF5, Volume 2: faction Reference Guide，2009，pdf）；