第1篇:GreenPlum的介紹/架構


一、GreenPlum介紹

GreenPlum是基於數據庫分布式架構的開源大數據平台;采用無共享(no shareing)的MPP架構;具有良好的線性擴展能力,具有高效的並行運算、並行存儲特性。擁有獨特的高效的ORCA優化器。兼容SQL語法。適合用於高效PB數據量級的存儲、處理和實時分析能力。由於內核是基於PostgreSQL數據庫;也支持涵蓋OLTP型業務混合負載。同時數據節點和主節點都有自己備份節點。提供數據庫的高可用性。

二、GreenPlum架構

 

架構

在GreenPlum數據庫中組件;從上圖可以看出Master節點、Segment節點、interconnect

  • Master節點:為主節點;作為數據庫的入口,負責客服端連接;對客服端的請求生成查詢計划;分發給某個或者所有的Segment節點。
  • standby master: 作為master節點的備庫;為其提供高可用性。在Master節點出現故障;通過gpactivestandby命令激活。接管master工作
  • interconnect:是GreenPlum的網絡層;負責每個節點之間的通信。
  • segment節點:為數據節點;接收master分發下來的查詢計划;執行返回結果給master節點
  • mirror segment節點: 作為segment節點的備庫;為了提供高可用性;通常跟對應的segment節點不在同一台機器上。在segment節點出現故障,mirror segment自動接管進行工作。但是為了數據庫平穩;盡快恢復出現故障的segment。

對用戶而言可以把整個GreenPlum數據庫當成PostgreSQL數據庫。

Greenplum數據庫可以使用追加優化(append-optimized,AO)的存儲個事來批量裝載和讀取數據,並且能提供HEAP表上的性能優勢。 追加優化的存儲為數據保護、壓縮和行/列方向提供了校驗和。行式或者列式追加優化的表都可以被壓縮。

三、Greenplum數據庫和PostgreSQL的主要區別在於:

  • 在基於Postgres查詢規划器的常規查詢規划器之外,可以利用GPORCA進行查詢規划。
  • Greenplum數據庫可以使用追加優化的存儲。
  • Greenplum數據庫可以選用列式存儲,數據在邏輯上還是組織成一個表,但其中的行和列在物理上是存儲在一種面向列的格式中,而不是存儲成行。列式存儲只能和追加優化表一起使用。列式存儲是可壓縮的。當用戶只需要返回感興趣的列時,列式存儲可以提供更好的性能。 所有的壓縮算法都可以用在行式或者列式存儲的表上,但是行程編碼(RLE)壓縮只能用於列式存儲的表。Greenplum數據庫在所有使用列式存儲的追加優化表上都提供了壓縮。

Greenplum如何存儲在下面章節講解。

參考文獻:https://greenplum.cn/gp6/intro/arch_overview.html

備注:以上為本人理解;若有不對的地方;煩請指出。謝謝!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM