ODS:
操作數據存儲ODS(Operational Data Store),操作型數據倉庫,最早的數據倉庫模型,是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特征和OLTP系統的部分特征。特點是數據模型采取了貼源設計,業務系統數據庫數據結構是怎樣的,ODS數據庫的結構就是怎樣的。所不同的是ODS數據庫可以提供數據變化的歷史,所以ODS數據庫中每張表都會增加一個日期類型,表示數據的時點,將每天數據的變化情況都存下來,這樣有利於數據的分析。
一般在帶有ODS的系統體系結構中,ODS都設計為如下幾個作用:
1、在業務系統和數據倉庫之間形成一個隔離層
一般的數據倉庫應用系統都具有非常復雜的數據來源,這些數據存放在不同的地理位置、不同的數據庫、不同的應用之中,從這些業務系統對數據進行抽取並不是一件容易的事。因此,ODS用於存放從業務系統直接抽取出來的數據,這些數據從數據結構、數據之間的邏輯關系上都與業務系統基本保持一致,因此在抽取過程中極大降低了數據轉化的復雜性,而主要關注數據抽取的接口、數據量大小、抽取方式等方面的問題。
2、轉移一部分業務系統細節查詢的功能
在數據倉庫建立之前,大量的報表、分析是由業務系統直接支持的,在一些比較復雜的報表生成過程中,對業務系統的運行產生相當大的壓力。ODS的數據從粒度、組織方式等各個方面都保持了與業務系統的一致,那么原來由業務系統產生的報表、細節數據的查詢自然能夠從ODS中進行,從而降低業務系統的查詢壓力。
3、完成數據倉庫中不能完成的一些功能
一般來說,帶有ODS的數據倉庫體系結構中,DW層所存儲的數據都是進行匯總過的數據,並不存儲每筆交易產生的細節數據,但是在某些特殊的應用中,可能需要對交易細節數據進行查詢,這時就需要把細節數據查詢的功能轉移到ODS來完成,而且ODS的數據模型按照面向主題的方式進行存儲,可以方便地支持多維分析等查詢功能。
在一個沒有ODS層的數據倉庫應用系統體系結構中,數據倉庫中存儲的數據粒度是根據需要而確定的,但一般來說,最為細節的業務數據也是需要保留的,實際上也就相當於ODS,但與ODS所不同的是,這時的細節數據不是“當前、不斷變化的”數據,而是“歷史的,不再變化的”數據。
數據倉庫:簡稱EDW,企業級數據倉庫,現在大家都在說的就是這個。所不同的是每個行業的EDW都有一個通用的數據模型,結構精簡,擴展性強,應用性強,數據模型不像ODS乃樣會有很大的冗余。
數據集市:簡稱DM,以某個應用為出發點而建設的局部DW,為什么這么說,DM只關心自己需要的數據。不會全盤考慮企業整體的數據架構和應用,每個應用都有自己的DM。所以DM可以基於倉庫建設也可以獨立建設。