BI、數據倉庫、OLTP、OLAP


一、BI  

  商業智能(Business Intelligence,簡稱:BI),又稱商業智慧或商務智能,指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。

  商業智能的概念在1996年最早由加特納集團(Gartner Group)提出,加特納集團將商業智能定義為:商業智能描述了一系列的概念和方法,通過應用基於事實的支持系統來輔助商業決策的制定。商業智能技術提供使企業迅速分析數據的技術和方法,包括收集、管理和分析數據,將這些數據轉化為有用的信息,然后分發到企業各處。

二、數據倉庫

  Data Warehouse,可簡寫為DW或DWH。數據倉庫,是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合。它是單個數據存儲,出於分析性報告和決策支持目的而創建。 為需要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。

  數據倉庫是面向主題的;操作型數據庫的數據組織面向事務處理任務,而數據倉庫中的數據是按照一定的主題域進行組織。主題是指用戶使用數據倉庫進行決策時所關心的重點方面,一個主題通常與多個操作型信息系統相關。數據倉庫是集成的,數據倉庫的數據有來自於分散的操作型數據,將所需數據從原來的數據中抽取出來,進行加工與集成,統一與綜合之后才能進入數據倉庫

  概括來說,數據倉庫系統是指具有綜合企業數據的能力,能夠對大量企業數據進行快速和准確分析,輔助做出更好的商業決策的系統。它本身包括三部分內容:

1、數據層:實現對企業操作數據的抽取、轉換、清洗和匯總,形成信息數據,並存儲在企業級的中心信息數據庫中。

2、應用層:通過聯機分析處理,甚至是數據挖掘等應用處理,實現對信息數據的分析。

3、表現層:通過前台分析工具,將查詢報表、統計分析、多維聯機分析和數據發掘的結論展現在用戶面前。

  從應用角度來說,數據倉庫系統除了聯機分析處理外,還可以采用傳統的報表,或者采用數理統計和人工智能等數據挖掘手段,涵蓋的范圍更廣;就應用范圍而言,聯機分析處理往往根據用戶分析的主題進行應用分割,例如:銷售分析、市場推廣分析、客戶利潤率分析等等,每一個分析的主題形成一個OLAP應用,而所有的OLAP應用實際上只是數據倉庫系統的一部分。

三、OLTP

  On-Line Transaction Processing聯機事務處理(OLTP),也稱為面向交易的處理,其基本特征是前台接收的用戶數據可以立即傳送到計算中心進行處理,並在很短的時間內給出處理結果,是對用戶操作快速響應的方式之一。

  聯機事務處理系統是一種以事務元作為數據處理的單位、人機交互的計算機應用系統。它能對數據進行即時更新或其他操作,系統內的數據總是保持在最新狀態。用戶可將一組保持數據一致性的操作序列指定為一個事務元,通過終端、個人計算機或其他設備輸入事務元,經系統處理后返回結果,應用於飛機訂票、銀行出納、股票交易、超市銷售、飯店前后管理等。

  這樣做的最大優點是可以即時地處理輸入的數據,及時地回答。也稱為實時系統(Real time System)。衡量聯機事務處理結果的一個重要指標是系統性能,具體體現為實時請求-響應時間(Response Time),即用戶在終端上輸入數據之后,到計算機對這個請求給出答復所需要的時間。OLTP是由前台、應用、數據庫共同完成的,處理快慢以及處理程度取決於數據庫引擎、服務器、應用引擎。

  OLTP數據庫旨在使事務應用程序僅寫入所需的數據,以便盡快處理單個事務。

  OLTP主要用來記錄某類業務事件的發生,如購買行為,當行為產生后,系統會記錄是誰在何時何地做了何事,這樣的一行(或多行)數據會以增刪改的方式在數據庫中進行數據的更新處理操作,要求實時性高、穩定性強、確保數據及時更新成功,像公司常見的業務系統如ERP,CRM,OA等系統都屬於OLTP。

  當數據積累到一定的程度,我們需要對過去發生的事情做一個總結分析時,就需要把過去一段時間內產生的數據拿出來進行統計分析,從中獲取我們想要的信息,為公司做決策提供支持,這時候就是在做OLAP了。

四、OLAP

  On-Line Analytical Processing聯機分析處理(OLAP),是一種軟件技術,它使分析人員能夠迅速、一致、交互地從各個方面觀察信息,以達到深入理解數據的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多維信息的快速分析的特征。其中F是快速性(Fast),指系統能在數秒內對用戶的多數分析要求做出反應;A是可分析性(Analysis),指用戶無需編程就可以定義新的專門計算,將其作為分析的一部 分,並以用戶所希望的方式給出報告;M是多維性(Multi—dimensional),指提供對數據分析的多維視圖和分析;I是信息性(Information),指能及時獲得信息,並且管理大容量信息。

  聯機分析處理的主要特點,是直接仿照用戶的多角度思考模式,預先為用戶組建多維的數據模型,在這里,維指的是用戶的分析角度。例如對銷售數據的分析,時間周期是一個維度,產品類別、分銷渠道、地理分布、客戶群類也分別是一個維度。一旦多維數據模型建立完成,用戶可以快速地從各個分析角度獲取數據,也能動態的在各個角度之間切換或者進行多角度綜合分析,具有極大的分析靈活性。這也是聯機分析處理被廣泛關注的根本原因,它從設計理念和真正實現上都與舊有的管理信息系統有着本質的區別。

五、OLTP與OLAP的區別  

  OLTP即聯機事務處理,就是我們經常說的關系數據庫,增刪查改就是我們經常應用的東西,這是數據庫的基礎;TPCC(Transaction Processing Performance Council)屬於此類。

  OLAP即聯機分析處理,是數據倉庫的核心部心,所謂數據倉庫是對於大量已經由OLTP形成的數據的一種分析型的數據庫,用於處理商業智能、決策支持等重要的決策信息;數據倉庫是在數據庫應用到一定程序之后而對歷史數據的加工與分析,讀取較多,更新較少,TPCH屬於此類。

  隨着大數據時代的到來,對於OLAP,列存儲模式或者說nosql模式比傳統意義的行存儲模式可能更具優勢。

 維度
OLTP
OLAP
用戶
操作人員,低層管理人員
決策人員,高級管理人員
功能
日常操作處理
分析決策
DB 設計
面向應用
面向主題
數據
當前的, 最新的細節的, 二維的分立的
歷史的, 聚集的, 多維的集成的, 統一的
存取
讀/寫數十條記錄
讀上百萬條記錄
工作單位
簡單的事務
復雜的查詢
用戶數
上千個
上百萬個
DB 大小
100MB-GB
100GB-TB
時間要求
具有實時性
對時間的要求不嚴格
主要應用
數據庫
數據倉庫

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM