一、OLAP:在線分析處理
1.聯機分析處理( On- Line Analytical Processing , OLAP ) :
是數據倉庫系統最主要的應用,專門設計用於支持復雜的分析操作,側重對決策人員和高層管理人員的決策支持,可以根據要求快速靈活地進行大數據量的復雜查詢處理,並以一種直觀易懂的形式將查詢結果提供給決策人員,以便他們准確掌握企業的經營狀況,了解對象的需求,制定正確的方案。
2.OLAP & OLTP :
■OLAP為在線分析系統,已分析為主。
■OLTP為在線業務系統,以業務支撐為主。
3.OLAP中的主要概念:
■維度:觀察事物的角度(屬性)即從哪些方面來觀察、測量某個事物,如年齡、區域、機型等
■度量:也稱為"事實”即記錄了一次實際的測量、購買等發生的事實,包含維度和測量值
二、MPP數據庫
MPP ( Massive Parallel Processing,大規模並行處理) : 由多個松耦合處理單元組成,每個單元擁有自己的CPU、內存、存儲等,每個單元內都有操作系統和管理數據庫的實例副本,最大的特點在於不共享資源。
三、AnalyticDB 分析型數據庫
分析型數據庫( AnalyticDB,原ADS) :是阿里巴巴自主研發的海量數據實時高並發在線分析( Realtime OLAP )雲計算服務,使得您可以在毫秒級針對千億級數據進行即時的多維分析透視和業務探索。分析型數據庫對海量數據的自由計算和極速響應能力,能讓用戶在瞬息之間進行靈活的數據探索,快速發現數據價值,並可直接嵌入業務系統為終端客戶提供分析服務。
1.高度的計算自由
無需預先進行數據建模,進行海量數據靈活分析
2.極速的響應時間
毫秒級千億數據多維透視,毫秒級多個大表關聯計算
3.簡單的使用方式
支持標准MySQL協議,內置的數據接入和輸出
4.豐富的特色功能
高性能自動創建索引,海量數據的極速導出
AnalyticDB 特點
四、AnalyticDB 分析型數據庫基本概念
1.數據庫
2.表組
一系列可發生關聯的表的集合,是一個邏輯概念。
表組的特點
■表組是數據物理分配的最小單元
■同表組內的表才可以快速 hash join
■同一個表組內的表共享一些配置
■建議同表組中的表一級分區數一致
維表的特點
■維表必須放在維度表組上
■維表的大小有限制,表的數據量不能太大
■維表不需要設置分區信息
■維表可以和任何表進行關聯,不受表組的限制
■維表保存在每個節點上,同樣大小的數據,維表會消耗掉更多存儲資源
事實表的特點
■普通表選擇表組時需要考慮后續操作中要關聯到的其他事實表
■普通表的數據量不受限制,但是必須至少設置一級( Hash )分區
■多張普通表關聯時,必須有Hash Key (一級分區鍵)參加
■普通表分為兩類:離線批量更新表( Batch )和實時更新表( Realtime )
■批量更新表如果需要增量加載數據,則必須設置二級分區
■實時更新表可以直接insert/delete單條數據,適合業務系統直接寫入
■實時更新表不提供二級分區,因為天然支持增量
■數據加載進表后,需要等待一定時間后才能看到
數據類型
多值列
■可以存入String類型的多個值,分隔符默認為半角逗號,也可以建表時進行配置
■可使用in, contains條件對該列的單個值進行查詢
■枚舉查詢后該列的每個值可像一個普通列-樣進行各類操作,但是不允許在沒有進行枚舉查詢時對該列直接select或在group by中使用該列
適用場景
已有一個實體屬性表均為普通列並以實體編號為主鍵的情況下,需要新增一個用於進行實體篩選的屬性,而這個屬性和實體編號為多對多的對應關系