ODS 操作數據存儲
- 操作數據存儲ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特征和OLTP系統的部分特征,它是“面向主題的、集成的、當前或接近當前的、不斷變化的”數據。
- ODS 操作型數據倉庫,最早的數據倉庫模型,是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特征和OLTP系統的部分特征。特點是數據模型采取了貼源設計,業務系統數據庫數據結構是怎樣的,ODS數據庫的結構就是怎樣的。所不同的是ODS數據庫可以提供數據變化的歷史,所以ODS數據庫中每張表都會增加一個日期類型,表示數據的時點,將每天數據的變化情況都存下來,這樣有利於數據的分析。
一般ODS都設計為如下幾個作用:
1、在業務系統和數據倉庫之間形成一個隔離層
一般的數據倉庫應用系統都具有非常復雜的數據來源,這些數據存放在不同的地理位置、不同的數據庫、不同的應用之中,從這些業務系統對數據進行抽取並不是一件容易的事。因此,ODS用於存放從業務系統直接抽取出來的數據,這些數據從數據結構、數據之間的邏輯關系上都與業務系統基本保持一致,因此在抽取過程中極大降低了數據轉化的復雜性,而主要關注數據抽取的接口、數據量大小、抽取方式等方面的問題。
2、轉移一部分業務系統細節查詢的功能
在數據倉庫建立之前,大量的報表、分析是由業務系統直接支持的,在一些比較復雜的報表生成過程中,對業務系統的運行產生相當大的壓力。ODS的數據從粒度、組織方式等各個方面都保持了與業務系統的一致,那么原來由業務系統產生的報表、細節數據的查詢自然能夠從ODS中進行,從而降低業務系統的查詢壓力。
3、完成數據倉庫中不能完成的一些功能
一般來說,帶有ODS的數據倉庫體系結構中,DW層所存儲的數據都是進行匯總過的數據,並不存儲每筆交易產生的細節數據,但是在某些特殊的應用中,可能需要對交易細節數據進行查詢,這時就需要把細節數據查詢的功能轉移到ODS來完成,而且ODS的數據模型按照面向主題的方式進行存儲,可以方便地支持多維分析等查詢功能。在一個沒有ODS層的數據倉庫應用系統體系結構中,數據倉庫中存儲的數據粒度是根據需要而確定的,但一般來說,最為細節的業務數據也是需要保留的,實際上也就相當於ODS,但與ODS所不同的是,這時的細節數據不是“當前、不斷變化的”數據,而是“歷史的,不再變化的”數據。
DW 數據倉庫
- 數據倉庫,英文名稱為Data Warehouse,可簡寫為DW或DWH。數據倉庫,是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合。它是單個數據存儲,出於分析性報告和決策支持目的而創建。 為需要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。
EDW 企業數據倉庫
- 數據倉庫(DW)概念的創始人W. H.Inmon對數據倉庫下了這樣的定義:“數據倉庫是一個面向主題的、集成的、非易失的且隨時間變化的數據集合,用來支持管理人員的決策。”數據倉庫將大量用於事物處理的傳統數據庫數據進行清理、抽取和轉換,使原始數據發生了質的變化,轉化為適合分析的導出型數據,並按照決策主題的需要進行重新組織。
- 每個行業的EDW都有一個通用的數據模型,結構精簡,擴展性強,應用性強,數據模型不像ODS乃樣會有很大的冗余。
BI 商業智能
- BI軟件是商業智能(Business Intelligence)軟件的英文縮寫。目前,商業智能通常被理解為將企業中現有的數據轉化為知識,幫助企業做出明智的業務經營決策的工具。商務智能系統中的數據來自企業其他業務系統。例如商貿型企業,其商務智能系統數據包括業務系統的訂單、庫存、交易賬目、客戶和供應商信息等,以及企業所處行業和競爭對手的數據、其他外部環境數據。而這些數據可能來自企業的CRM、SCM、進銷存等業務系統。
DM 數據集市
- 數據集市(Data Mart),也叫數據市場,為滿足特定的部門或者用戶需求,按照多維的方式進行存儲,包括定義維度、需要計算的指標、維度的層次等,生成面向決策分析需求的數據立方體。
- 數據集市,迎合了專業用戶群體的特殊需求,包括分析、內容、表現,以及易用性方面。
- 數據集市,是企業級數據倉庫的一個子集,主要面向部門級業務,只面向某個特定的主題。
- 數據集市數據來源於企業范圍的數據庫、專業的數據倉庫。
ETL 數據倉庫技術
- ETL,是英文Extract-Transform-Load的縮寫,用來描述將數據從來源端經過萃取(extract)、轉置(transform)、加載(load)至目的端的過程。ETL一詞較常用在數據倉庫,但其對象並不限於數據倉庫。
- 獲取—轉換【清洗,合並,復制】–加載【事實表,維度表】
- 維度表:【維度】從哲學角度看,人們觀察、思考與表述某事物的“思維角度”,簡稱“維度”。例如,人們觀察與思考“月亮”這個事物,可以從月亮的“內容、時間、空間”三個思維角度去描述;也可以從月亮的“載體、能量、信息”三個思維角度去描述。
從時間角度出發,年月日這樣去考慮。 - 事實表:最終需要的數據抽取,由多條數據或者或多表總結匯成一條數據或者一個表組成的。
